[논문 리뷰] Blockchain-aided Secure Semantic Communication for AI-Generated Content in Metaverse

Yijing Lin, Hongyang Du외 5명|arXiv (Cornell University)|2023. 01. 25.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 메타버스 가상 교통망에서 인공지능 생성 콘텐츠(AIGC)의 보안을 강화하기 위해 블록체인과 제로지식 증명을 활용한 의미론적 통신 프레임워크를 제안한다. 적대적 데이터와 정상 데이터 간의 의미론적 이질성을 탐지함으로써, 악성 데이터와 정상 데이터 간의 의미론적 유사도를 최대 35% 감소시켜, 타겟된 의미론적 공격에 대비한 AIGC 서비스에 대한 신뢰도를 향상시킨다.

ABSTRACT

The construction of virtual transportation networks requires massive data to be transmitted from edge devices to Virtual Service Providers (VSP) to facilitate circulations between the physical and virtual domains in Metaverse. Leveraging semantic communication for reducing information redundancy, VSPs can receive semantic data from edge devices to provide varied services through advanced techniques, e.g., AI-Generated Content (AIGC), for users to explore digital worlds. But the use of semantic communication raises a security issue because attackers could send malicious semantic data with similar semantic information but different desired content to break Metaverse services and cause wrong output of AIGC. Therefore, in this paper, we first propose a blockchain-aided semantic communication framework for AIGC services in virtual transportation networks to facilitate interactions of the physical and virtual domains among VSPs and edge devices. We illustrate a training-based targeted semantic attack scheme to generate adversarial semantic data by various loss functions. We also design a semantic defense scheme that uses the blockchain and zero-knowledge proofs to tell the difference between the semantic similarities of adversarial and authentic semantic data and to check the authenticity of semantic data transformations. Simulation results show that the proposed defense method can reduce the semantic similarity of the adversarial semantic data and the authentic ones by up to 30% compared with the attack scheme.

연구 동기 및 목표

• 메타버스에서 의미론적 통신의 보안 취약성을 해결하기 위해, 공격자가 의미적으로 유사하지만 악성으로 수정된 데이터를 주입하여 AIGC 서비스를 손상시킬 수 있는 상황을 대비한다.
• 신뢰할 수 없는 환경에서 엣지 디바이스와 가상 서비스 공급자(VSP) 간의 의미론적 데이터 변환을 안전하고 분산형으로 검증할 수 있도록 한다.
• 의미론적 서술자 간의 차이를 기반으로 적대적 의미론적 데이터와 정상 데이터를 구분할 수 있는 방어 메커니즘을 설계한다.
• 의미론적 데이터 변환의 블록체인 기반 로깅에서 계산 및 합의 오버헤드를 최소화한다.
• 원시 의미론적 콘텐츠를暴露하지 않고도 데이터 무결성을 보장하는 프라이버시 보장 검증을 위해 제로지식 증명을 통합한다.

제안 방법

• 가상 교통망 내 엣지 디바이스와 VSP 간의 의미론적 데이터 변환을 기록하고 검증하기 위해 블록체인 기반 의미론적 통신 프레임워크를 제안한다.
• 사전 학습된 ImageNet 및 AlexNet 모델을 대상으로 전역(Global), 히스토그램(Hist), 텐서(Tensor) 손실 함수를 사용한 학습 기반의 타겟된 의미론적 공격 기법을 설계하여, 의미론적 유사도는 높지만 의미는 다른 적대적 의미론적 데이터를 생성한다.
• 의미론적 데이터 변환의 진위를 암호학적으로 검증하기 위해 제로지식 증명(ZKPs)을 활용한다. 이 과정에서 실제 의미론적 콘텐츠는 폭 드러나지 않는다.
• 의미론적 데이터를 로깅하기 전에 압축하여 블록체인에서의 합의 메커니즘을 통해 데이터 변환을 기록하고 추적함으로써 오버헤드를 감소시킨다.
• 전역 서술자, 활성화 히스토그램 등 서술자 기반 의미론적 유사도 측정 기준을 적용하여 정상 데이터와 적대적 데이터 간의 차이를 정량화한다.
• 스마트 계약을 통합하여 ZKP 증명의 검증을 자동화함으로써 온체인 계산을 최소화하고 효율적인 오프체인 검증을 가능하게 한다.

Figure 1: Blockchain-aided Semantic Communication Framework for AIGC in Metaverse

실험 결과

연구 질문

• RQ1 의미론적 유사도는 유지하면서도 의도된 의미를 변경하는 방식으로 적대적 의미론적 데이터를 어떻게 생성할 수 있는가?
• RQ2 분산된 방식으로 블록체인 기반 시스템이 적대적 데이터와 정상 데이터를 탐지하고 구분할 수 있는 정도는 어느 정도인가?
• RQ3 제안된 제로지식 증명 기반 메커니즘이 민감한 의미론적 콘텐츠를暴露하지 않고도 데이터 무결성을 얼마나 효과적으로 검증할 수 있는가?
• RQ4 실제 데이터 크기 조건에서 블록체인 합의 및 ZKP 계산의 성능 오버헤드는 어느 정도인가?
• RQ5 방어 메커니즘이 VSP가 신뢰성 있게 탐지할 수 있도록, 적대적 데이터와 정상 데이터 간의 의미론적 유사도를 얼마나 낮출 수 있는가?

주요 결과

• 제안된 의미론적 방어 기법은 공격 기법 대비 최대 35%까지 적대적 의미론적 데이터와 정상 데이터 간의 의미론적 유사도를 감소시켜, 타겟된 의미론적 공격의 효과를 크게 떨어뜨린다.
• 방어 메커니즘은 적대적 데이터와 캐리어 이미지 간의 의미론적 유사도를 10% 감소시켜 공격자가 탐지에서 벗어나는 것을 더욱 어렵게 한다.
• 의미론적 데이터를 로깅하기 전에 자르고 압축함으로써 블록체인 합의 오버헤드를 최소화하였으며, 방어 유형 기록에 필요한 데이터는 오직 10 KB 뿐이었다.
• ZKP 계산 오버헤드는 주로 증명 생성 단계에서 발생하며, 검증 단계는 상대적으로 가벼워 스마트 계약에 통합하기에 적합하다.
• ZKP 계산은 1MB의 의미론적 데이터에 대해서도 데이터 크기에 거의 의존하지 않아 높은 효율성을 유지한다.
• 이 프레임워크는 VSP가 원시 데이터에 접근하지 않고도 데이터의 진위를 검증하고 악성 변환을 탐지할 수 있도록 하여 프라이버시와 보안을 유지한다.

Figure 2: Relationship among Images