[논문 리뷰] Generative AI-aided Joint Training-free Secure Semantic Communications via Multi-modal Prompts

Hongyang Du, Guangyuan Liu외 6명|arXiv (Cornell University)|2023. 09. 05.

Digital Media Forensic Detection인용 수 5

한 줄 요약

이 논문은 공동 인코더-디코더 훈련 없이도 정확한 이미지 복원을 가능하게 하는 훈련 불필요한 생성형 AI 보조 의미 전송 시스템을 제안한다. 다중 모odal 프롬프트를 사용하여, 확산 모델과 우호적인 잡음 공급자를 활용함으로써 전력, 잡음 공급, 확산 단계를 최적화하여 안전한 전송 조건 하에서 높은 SSIM(최대 0.92)과 낮은 BEP(<10⁻⁵)를 달성한다.

ABSTRACT

Semantic communication (SemCom) holds promise for reducing network resource consumption while achieving the communications goal. However, the computational overheads in jointly training semantic encoders and decoders-and the subsequent deployment in network devices-are overlooked. Recent advances in Generative artificial intelligence (GAI) offer a potential solution. The robust learning abilities of GAI models indicate that semantic decoders can reconstruct source messages using a limited amount of semantic information, e.g., prompts, without joint training with the semantic encoder. A notable challenge, however, is the instability introduced by GAI's diverse generation ability. This instability, evident in outputs like text-generated images, limits the direct application of GAI in scenarios demanding accurate message recovery, such as face image transmission. To solve the above problems, this paper proposes a GAI-aided SemCom system with multi-model prompts for accurate content decoding. Moreover, in response to security concerns, we introduce the application of covert communications aided by a friendly jammer. The system jointly optimizes the diffusion step, jamming, and transmitting power with the aid of the generative diffusion models, enabling successful and secure transmission of the source messages.

연구 동기 및 목표

• 의미 전송 시스템에서 공동 훈련의 높은 계산 및 에너지 비용 문제를 해결하기 위해.
• 인코더와 디코더의 공동 훈련이 필요 없이도 정확한 메시지 복원을 가능하게 하기 위해.
• 친화적 잡음 기법과 결합된 은밀한 통신 기술을 통합하여 프롬프트 전송의 보안성을 향상시키기 위해.
• 구조적 정밀도를 유지하면서 정보 泄露를 최소화하는 텍스트 및 시각적 구성 요소를 포함한 다중 모달 프롬프트를 설계하기 위해.
• 생성형 확산 모델을 활용하여 전력, 잡음 공급, 확산 단계 등의 자원 할당을 최적화해 신뢰성 있고 은밀한 전송을 실현하기 위해.

제안 방법

• 시스템은 다중 모달 프롬프트를 사용한다: 의미적 내용을 위한 텍스트 프롬프트와 구조적 정밀도를 위한 시각적 프롬프트를 통해 GAI 기반 이미지 생성을 유도한다.
• 생성형 확산 모델(GDM)을 사용해 프롬프트에서 이미지를 복원하며, 조건 벡터 c를 활용해 가우시안 노이즈에서 점진적으로 노이즈 제거를 적용한다.
• 자원 할당 전략은 정책 네트워크 ηθ에 의해 생성되며, 채널 조건에 기반해 최적의 전송 전력, 잡음 공급 전력, 확산 단계를 예측한다.
• 비평가 네트워크 Qυ는 SSIM을 보상 신호로 사용해 생성된 이미지의 품질을 평가하며, 딥 강화 학습을 통해 정책 최적화를 이끈다.
• 훈련 과정에서는 예측된 SSIM 값과 실제 SSIM 값 간의 차이를 최소화하는 손실 함수를 사용하며, Qυ 네트워크는 진정한 Q-값을 예측하도록 훈련된다.
• 은밀한 통신은 잡음 공급 전력과 전송 전력을 함께 최적화하여 경비원의 탐지 확률을 낮추면서도 수신기에서의 신뢰성 있는 디코딩을 보장함으로써 실현된다.

Figure 1: Diverse semantic communication schemes. Part A represents SemCom based on knowledge graphs. Part B shows GAI-aided SemCom using only the textual prompt. The decoder reconstructs an image that is not accurate. Part C shows GAI-powered SemCom using multi-modal prompts. The decoder leverages

실험 결과

연구 질문

• RQ1 생성형 AI는 인코더와 디코더의 공동 훈련 없이도 정확한 의미 전송을 가능하게 할 수 있는가?
• RQ2 다중 모달 프롬프트는 의미 전송 시스템에서 이미지 복원 정밀도를 어떻게 향상시킬 수 있는가?
• RQ3 생성 모델의 프롬프트 불안정성이 의미 전송의 신뢰성에 미치는 영향은 무엇인가?
• RQ4 은밀한 통신은 어떻게 효과적으로 GAI 기반 의미 전송에 통합되어 도청을 방지할 수 있는가?
• RQ5 경비원이 존재하는 환경에서 탐지 확률을 낮추면서도 이미지 복원 품질을 극대화하는 자원 할당 전략은 무엇인가?

주요 결과

• GDM 기반 자원 할당 전략은 테스트 보상에서 DRL 기반 방법보다 뛰어나 전송 파rameter 최적화 성능이 뛰어나다.
• BEP가 10⁻⁵일 경우 약 50회의 확산 단계로도 SSIM이 0.92 이상을 달성할 수 있는 고품질 이미지 복원이 가능하다.
• BEP가 10⁻³으로 증가하면 재구성된 이미지가 노이즈가 심해지고 SSIM 점수도 크게 떨어지며, 저오류 전송의 필요성을 부각시킨다.
• 잡음 공급 전력이 24 dBW 이상일 경우 탐지 확률이 임계값을 초과하여, 주어진 환경 조건에서 은밀한 통신 요구사항을 충족한다.
• 시스템은 잡음 공급 전력 증가에 따라 은밀한 전송률이 감소하지만, 보안성과 데이터 전송률 사이의 균형을 유지한다.
• 제안된 방법은 공동 훈련 없이도 고정밀도 이미지 복원을 가능하게 하여 의미 전송에서 계산 및 에너지 비용을 감소시킨다.

Figure 2: The proposed GAI-aided secure SemCom system with the covert communications technique.