[논문 리뷰] Generative AI-Based Probabilistic Constellation Shaping With Diffusion Models

Mehdi Letafati, Samad Ali외 1명|arXiv (Cornell University)|2023. 11. 15.

Music and Audio Processing인용 수 4

한 줄 요약

이 논문은 무선 통신에서 확률적 볼테이션 형상 조절을 위한 새로운 확산 모델 기반 접근법을 제안한다. 확산 확률 모델(DDPM)의 노이즈 제거 및 생성 메커니즘을 활용하여 송신기와 수신기의 기호 재구성 간의 일치를 이룬다. 64-QAM에서 DNN 기반 기준 대비 30% 향상된 코사인 유사도와 3배 향상된 상호정보량을 달성하였으며, 저SNR 및 비정규 분포 노이즈 조건에서도 뛰어난 성능을 보인다.

ABSTRACT

Diffusion models are at the vanguard of generative AI research with renowned solutions such as ImageGen by Google Brain and DALL.E 3 by OpenAI. Nevertheless, the potential merits of diffusion models for communication engineering applications are not fully understood yet. In this paper, we aim to unleash the power of generative AI for PHY design of constellation symbols in communication systems. Although the geometry of constellations is predetermined according to networking standards, e.g., quadrature amplitude modulation (QAM), probabilistic shaping can design the probability of occurrence (generation) of constellation symbols. This can help improve the information rate and decoding performance of communication systems. We exploit the ``denoise-and-generate'' characteristics of denoising diffusion probabilistic models (DDPM) for probabilistic constellation shaping. The key idea is to learn generating constellation symbols out of noise, ``mimicking'' the way the receiver performs symbol reconstruction. This way, we make the constellation symbols sent by the transmitter, and what is inferred (reconstructed) at the receiver become as similar as possible, resulting in as few mismatches as possible. Our results show that the generative AI-based scheme outperforms deep neural network (DNN)-based benchmark and uniform shaping, while providing network resilience as well as robust out-of-distribution performance under low-SNR regimes and non-Gaussian assumptions. Numerical evaluations highlight 30% improvement in terms of cosine similarity and a threefold improvement in terms of mutual information compared to DNN-based approach for 64-QAM geometry.

연구 동기 및 목표

• 무선 통신의 물리계층 신호 설계에서 생성적 AI, 특히 확산 모델의 잠재력을 탐색하기 위해.
• 복잡한 신호 분포를 모델링하고 종단간 생성 설계를 가능하게 하는 분류 모델의 한계를 해결하기 위해.
• 생성 모델링을 통해 최적의 기호 확률 분포를 학습하여 스펙트럼 효율성과 내구성을 향상시키기 위해.
• 저SNR 및 비정규 분포 노이즈 조건에서 네트워크의 내재성 및 분포 외부에 대한 강건성을 확보하기 위해.
• 상호 생성 학습을 통해 송신기와 수신기의 기호 재구성 간 통합을 통해 AI 네이티브 무선 시스템의 새로운 패러다임을 구축하기 위해.

제안 방법

• 노이즈 추가 과정의 역행을 통해 기호를 생성하기 위해 노이즈 제거 및 생성 확률 모델(DDPM)을 활용하여 수신기 기반 기호 재구성과 유사하게 작동한다.
• DDPM을 기호의 기저 분포를 학습하도록 훈련시켜 노이즈에서 기호로의 생성을 통해 확률적 형상 조절을 가능하게 한다.
• 송신기의 기호 생성 과정을 수신기의 노이즈 제거 과정과 일치시켜 상호 이해를 형성하고 재구성 불일치를 최소화한다.
• 고차원 신호 분포를 효율적으로 모델링하기 위해 잠재 확산 아키텍처를 사용하며, 잔차 U-Net 인코더 및 디코더를 적용한다.
• 노이즈 스케줄링과 역확산 과정을 사용하여 무작위 노이즈를 반복적으로 노이즈 제거하여 구조화된 기호 점으로 변환한다.
• 상호정보량과 코사인 유사도를 지표로 하여 DNN 기반 및 균일 형상 조절 기준과의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 확산 모델은 무선 통신 시스템의 확률적 볼테이션 형상 조절에 효과적으로 적용될 수 있는가?
• RQ2 DNN 기반 및 균일 형상 조절 대비 DDPM 기반 접근법은 상호정보량과 기호 재구성 유사도 측면에서 어떻게 비교되는가?
• RQ3 저SNR 및 비정규 분포 노이즈 조건에서 제안된 방법은 어느 정도의 성능 유지를 유지하는가?
• RQ4 확산 모델의 생성적 성질이 무선 시스템의 네트워크 내재성 및 분포 외부에 대한 강건성을 향상시킬 수 있는가?
• RQ5 송신기가 수신기의 노이즈 제거 과정을 모방하는 상호적 설계 방식이 시스템 성능 향상에 기여하는가?

주요 결과

• 64-QAM에서 제안된 DDPM 기반 방법은 DNN 기반 기준 대비 30% 향상된 코사인 유사도를 달성하였다.
• 동일 조건에서 64-QAM에서 DNN 기반 접근법 대비 상호정보량이 3배 향상된 것으로 나타났다.
• 생성적 AI 기반 시스템은 다양한 SNR 수준에서 높은 성능을 유지하였으며, 중앙값 및 최대 성능 지표가 균일 형상 조절을 항상 초월하였다.
• 분포 외부 노이즈(Laplacian 및 지수 분포) 조건에서 DDPM 기반 접근법은 성능 저하가 없었고, DNN 기준은 심각한 성능 저하를 보였다.
• 비정규 노이즈 조건에서도 성능이 안정적으로 유지되어, 가정된 정규 분포 모델에서 벗어난 노이즈 분포에서도 강건성을 확보하였다.
• 기존 방법이 이러한 조건에서 성능이 저하되는 것과는 달리, 제안된 방법은 고차원 볼테이션(예: 64-QAM)에서 더 뛰어난 성능을 달성하였다.