[논문 리뷰] Robust Semantic Communications Against Semantic Noise

Qiyu Hu, Guangyi Zhang외 4명|arXiv (Cornell University)|2022. 02. 07.

Wireless Signal Modulation Classification인용 수 6

한 줄 요약

이 논문은 딥러닝 모델을 오도시키는 미세하고 인지하기 어려운 교란인 의미적 노이즈에 강건한 종단간 의미 통신 시스템을 제안한다. 적대적 훈련과 밀도 없는 오토인코더(MAE), VQ-VAE를 통한 공유 이산 코드북을 조합함으로써, 전송 오버헤드를 99.05% 감소시키고 이미지 분류 작업에서 의미적 노이즈에 대한 강건성을 크게 향상시킨다.

ABSTRACT

Although the semantic communications have exhibited satisfactory performance in a large number of tasks, the impact of semantic noise and the robustness of the systems have not been well investigated. Semantic noise is a particular kind of noise in semantic communication systems, which refers to the misleading between the intended semantic symbols and received ones. In this paper, we first propose a framework for the robust end-to-end semantic communication systems to combat the semantic noise. Particularly, we analyze the causes of semantic noise and propose a practical method to generate it. To remove the effect of semantic noise, adversarial training is proposed to incorporate the samples with semantic noise in the training dataset. Then, the masked autoencoder (MAE) is designed as the architecture of a robust semantic communication system, where a portion of the input is masked. To further improve the robustness of semantic communication systems, we firstly employ the vector quantization-variational autoencoder (VQ-VAE) to design a discrete codebook shared by the transmitter and the receiver for encoded feature representation. Thus, the transmitter simply needs to transmit the indices of these features in the codebook. Simulation results show that our proposed method significantly improves the robustness of semantic communication systems against semantic noise with significant reduction on the transmission overhead.

연구 동기 및 목표

• 딥러닝 기반 의미 통신 시스템에서 의미적 노이즈에 대한 체계적인 연구 부족을 해결한다.
• 반복적 FGSM를 사용해 이미지 도메인에서 의미적 노이즈를 모델링하고 적대적 교란을 생성한다.
• 가중치 교란을 통한 적대적 훈련을 통해 의미적 노이즈 샘플을 훈련 분포에 통합하는 강건한 훈련 프레임워크를 개발한다.
• MAE와 VQ-VAE를 통한 이산 특징 표현을 활용해 저오버헤드 통신 아키텍처를 설계한다.
• 의미적 노이즈와 다양한 무선 채널 조건(Rayleigh, Rician, AWGN)에 대한 강건성을 향상시킨다.

제안 방법

• K=5회 반복 및 ε=0.012 교란 강도를 가진 반복적 빠른 기울기 부호 방법(FGSM)을 사용해 의미적 노이즈를 모델링한다.
• 가중치 교란을 통한 적대적 훈련을 적용하여 노이즈가 포함된 샘플을 훈련 분포에 통합하고, 최소-최대 최적화 문제를 해결한다.
• 14개의 Transformer 인코더 레이어와 12개의 어텐션 헤드를 가진 밀도 없는 오토인코더(MAE)를 설계하며, 훈련 중 입력 이미지 패치의 50%를 마스킹한다.
• 벡터 양자화-변동성 오토인코더(VQ-VAE)를 사용해 공유 이산 코드북을 구현함으로써, 원시 특징 대신 특징 인덱스를 전송한다.
• 비미분 가능한 벡터 양자화 연산을 훈련하기 위해 스트레이트스러우스 추정기를 사용한다.
• 마스킹 재구성과 적대적 손실을 함께 사용해 MAE 모델을 종단간으로 훈련한 후, 이미지 분류와 같은 후행 작업을 위해 미세조정한다.

실험 결과

연구 질문

• RQ1 이미지 기반 의미 통신에서 의미적 노이즈를 효과적으로 모델링하고 생성하여 강건한 시스템 설계를 위한 방법은 무엇인가?
• RQ2 주입된 의미적 노이즈를 포함한 적대적 훈련이 교란에 대한 모델 강건성 향상에 얼마나 기여하는가?
• RQ3 이산 코드북을 가진 마스킹 오토인코딩은 강건성을 유지하거나 향상시키면서도 전송 오버헤드를 줄일 수 있는가?
• RQ4 의미적 노이즈 하에서 다양한 무선 채널 모델(AWGN, Rayleigh, Rician) 간의 일반화 능력은 어떻게 되는가?
• RQ5 의미적 노이즈 하에서 강건성, 전송 효율성, 성능 간의 상충 관계는 어떠한가?

주요 결과

• 의미적 노이즈를 포함한 MAE(MAE+SN)는 ViT+SN 및 적대적 훈련 없이 훈련된 MAE보다 유의미하게 높은 분류 정확도를 달성하며, 특히 높은 의미적 노이즈 강도(ε=0.012) 조건에서 두드러진다.
• 전송 오버헤드는 1장의 이미지당 196개의 심볼로 줄어들었으며, 기존의 JPEG+LDPC 방식(20,432개 심볼)의 0.95%에 불과해 99.05% 감소한 것으로 나타났다.
• 저 SNR 조건(예: -6 dB)에서도 강건한 특징 인덱스 전송 덕분에 제안된 MAE 모델은 높은 분류 정확도를 유지하며 기존의 전통적 방법을 능가한다.
• AWGN, Rayleigh, Rician 채널 모두에서 우수한 일반화 성능를 보이며, 훈련 시 AWGN 채널에서만 훈련된 경우에도 일관된 성능 유지를 보여 채널 변화에 대한 강력한 강건성을 입증한다.
• 적대적 훈련, 마스킹, 이산 코드북의 조합은 뛰어난 강건성을 제공한다: MAE+SN은 적대적 훈련 없이 훈련된 MAE+SN 및 모든 SNR 및 노이즈 강도 수준에서 ViT+SN을 모두 능가한다.