[論文レビュー] Generative AI-Based Probabilistic Constellation Shaping With Diffusion Models

Mehdi Letafati, Samad Ali+1 more|arXiv (Cornell University)|Nov 15, 2023

Music and Audio Processing被引用数 4

ひとこと要約

本稿では、無線通信における確率的コンステレーションシェーピングのための新しい拡散モデルベースのアプローチを提案する。確率的コンステレーションシェーピングに、ノイズ除去と生成のメカニズムを有するノイズ除去拡散確率的モデル（DDPM）を活用し、送信機と受信機のシンボル再構築を整合化する。64-QAMにおいて、DNNベースのベンチマークと比較してコサイン類似度が30%向上し、相互情報量が3倍増加する。低SNRおよび非ガウス分布ノイズ条件下でも安定した性能を示す。

ABSTRACT

Diffusion models are at the vanguard of generative AI research with renowned solutions such as ImageGen by Google Brain and DALL.E 3 by OpenAI. Nevertheless, the potential merits of diffusion models for communication engineering applications are not fully understood yet. In this paper, we aim to unleash the power of generative AI for PHY design of constellation symbols in communication systems. Although the geometry of constellations is predetermined according to networking standards, e.g., quadrature amplitude modulation (QAM), probabilistic shaping can design the probability of occurrence (generation) of constellation symbols. This can help improve the information rate and decoding performance of communication systems. We exploit the ``denoise-and-generate'' characteristics of denoising diffusion probabilistic models (DDPM) for probabilistic constellation shaping. The key idea is to learn generating constellation symbols out of noise, ``mimicking'' the way the receiver performs symbol reconstruction. This way, we make the constellation symbols sent by the transmitter, and what is inferred (reconstructed) at the receiver become as similar as possible, resulting in as few mismatches as possible. Our results show that the generative AI-based scheme outperforms deep neural network (DNN)-based benchmark and uniform shaping, while providing network resilience as well as robust out-of-distribution performance under low-SNR regimes and non-Gaussian assumptions. Numerical evaluations highlight 30% improvement in terms of cosine similarity and a threefold improvement in terms of mutual information compared to DNN-based approach for 64-QAM geometry.

研究の動機と目的

• 生成的AI、特に拡散モデルの、無線通信における物理層信号設計への応用可能性を検討すること。
• 複雑な信号分布をモデル化できず、エンドツーエンドの生成的設計を制限する判別モデルの限界を克服すること。
• 生成的モデリングによる最適なシンボル確率分布の学習を通じて、スペクトル効率と耐障害性の向上を図ること。
• 低SNRおよび非ガウス分布ノイズ条件下でも、ネットワークのレジリエンスと分布外耐性を確保すること。
• 送信機と受信機のシンボル再構築を逆方向の生成的学習によって統合することで、AIネイティブな無線システムの新パラダイムを確立すること。

提案手法

• ノイズ付与プロセスの逆方向を用いて、シンボルを生成するためのノイズ除去拡散確率的モデル（DDPM）を活用し、受信機ベースのシンボル再構築を模倣する。
• DDPMを訓練して、コンステレーションシンボルの下位分布を学習させ、ノイズからシンボルへの生成によって確率的シェーピングを実現する。
• 送信機のシンボル生成を受信機のノイズ除去プロセスに合わせることで、相互理解を実現し、再構築の不一致を最小限に抑える。
• 高次元信号分布を効率的にモデル化するため、残差U-Netエンコーダとデコーダを用いた潜在変数拡散アーキテクチャを採用する。
• ノイズスケジュールと逆方向拡散プロセスを用い、ランダムノイズを段階的にノイズ除去して構造的コンステレーション点へと変換する。
• 相互情報量とコサイン類似度を指標として用い、DNNベースおよび均一シェーピングベンチマークと比較して性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルは、無線通信システムにおける確率的コンステレーションシェーピングに効果的に応用可能か？
• RQ2 DDPMベースの手法は、DNNベースおよび均一シェーピングと比較して、相互情報量およびシンボル再構築類似度の観点でどの程度優れているか？
• RQ3 提案手法は、低SNRおよび非ガウス分布ノイズ条件下でもどの程度の性能を維持するか？
• RQ4 拡散モデルの生成的性質が、無線システムにおけるネットワークのレジリエンスおよび分布外耐性を向上させるか？
• RQ5 送信機が受信機のノイズ除去プロセスを模倣する逆方向設計により、システム全体の性能が向上するか？

主な発見

• 64-QAMにおいて、提案手法はDNNベースのベンチマークと比較してコサイン類似度が30%向上した。
• 同じ条件下で、64-QAMにおける相互情報量はDNNベース手法と比較して3倍向上した。
• 生成的AIベースのシステムは、複数のSNRレベルにおいても高い性能を維持し、中央値および最大性能指標が均一シェーピングを常に上回った。
• 分布外ノイズ（ラプラス分布および指数分布）条件下では、DDPMベース手法は性能劣化を示さず、DNNベンチマークは著しく劣化した。
• 非ガウス分布ノイズに対しても、性能が安定しており、想定されたガウス分布から逸脱しても依然として安定した。
• 従来手法がこのような条件下で劣化するのとは異なり、提案手法は高レートコンステレーション（例：64-QAM）において優れた性能を発揮した。