[论文解读] Generative AI-Based Probabilistic Constellation Shaping With Diffusion Models

Mehdi Letafati, Samad Ali+1 more|arXiv (Cornell University)|Nov 15, 2023

Music and Audio Processing被引用 4

一句话总结

该论文提出了一种基于扩散模型的新型概率星座整形方法，利用去噪扩散概率模型（DDPM）的去噪与生成机制，实现发射端与接收端符号重构的一致性对齐。在64-QAM系统中，相较于基于深度神经网络（DNN）的基准方法，该方法在余弦相似度上提升了30%，互信息增益达三倍，且在低信噪比（SNR）和非高斯噪声条件下均表现出稳健性能。

ABSTRACT

Diffusion models are at the vanguard of generative AI research with renowned solutions such as ImageGen by Google Brain and DALL.E 3 by OpenAI. Nevertheless, the potential merits of diffusion models for communication engineering applications are not fully understood yet. In this paper, we aim to unleash the power of generative AI for PHY design of constellation symbols in communication systems. Although the geometry of constellations is predetermined according to networking standards, e.g., quadrature amplitude modulation (QAM), probabilistic shaping can design the probability of occurrence (generation) of constellation symbols. This can help improve the information rate and decoding performance of communication systems. We exploit the ``denoise-and-generate'' characteristics of denoising diffusion probabilistic models (DDPM) for probabilistic constellation shaping. The key idea is to learn generating constellation symbols out of noise, ``mimicking'' the way the receiver performs symbol reconstruction. This way, we make the constellation symbols sent by the transmitter, and what is inferred (reconstructed) at the receiver become as similar as possible, resulting in as few mismatches as possible. Our results show that the generative AI-based scheme outperforms deep neural network (DNN)-based benchmark and uniform shaping, while providing network resilience as well as robust out-of-distribution performance under low-SNR regimes and non-Gaussian assumptions. Numerical evaluations highlight 30% improvement in terms of cosine similarity and a threefold improvement in terms of mutual information compared to DNN-based approach for 64-QAM geometry.

研究动机与目标

• 探索生成式人工智能，特别是扩散模型，在无线通信物理层信号设计中的潜力。
• 解决判别式模型在建模复杂信号分布以及实现端到端生成式设计方面的局限性。
• 通过生成建模学习最优符号概率分布，提升无线系统的频谱效率与鲁棒性。
• 在低SNR和非高斯噪声条件下，实现网络弹性与分布外鲁棒性。
• 通过互惠生成学习统一发射端与接收端的符号重构，建立AI原生无线系统的新范式。

提出的方法

• 利用去噪扩散概率模型（DDPM）通过反转加噪过程生成星座符号，模拟基于接收端的符号重构过程。
• 训练DDPM以学习星座符号的底层分布，从而通过噪声到符号的生成实现概率整形。
• 使发射端的符号生成与接收端的去噪过程保持对齐，建立互惠理解，最小化重构失配。
• 采用潜在扩散架构，结合残差U-Net编码器与解码器，高效建模高维信号分布。
• 使用噪声调度与反向扩散过程，迭代地将随机噪声逐步去噪为结构化的星座点。
• 采用互信息与余弦相似度作为评估指标，与基于DNN的基准及均匀整形方法进行对比。

实验结果

研究问题

• RQ1 扩散模型能否在无线通信系统的概率星座整形中实现有效应用？
• RQ2 与基于DNN的方法及均匀整形相比，DDPM方法在互信息与符号重构相似度方面表现如何？
• RQ3 所提方法在低SNR和非高斯噪声条件下的性能保持程度如何？
• RQ4 扩散模型的生成特性是否能增强无线系统在分布外情况下的网络弹性与鲁棒性？
• RQ5 通过发射端模拟接收端去噪过程的互惠设计，是否能带来系统性能的提升？

主要发现

• 在64-QAM系统中，所提出的DDPM方法相较于DNN基准，余弦相似度提升了30%。
• 在相同条件下，该方法在64-QAM上的互信息相比DNN方法实现了三倍提升。
• 基于生成式AI的系统在多个SNR水平下均保持高性能，其中位数与最大性能指标持续优于均匀整形方法。
• 在分布外噪声（拉普拉斯分布与指数分布）下，DDPM方法未出现性能下降，而DNN基准性能显著恶化。
• 系统对非高斯噪声表现出强鲁棒性，即使噪声分布偏离假设的高斯模型，性能仍保持稳定。
• 与传统方法不同，该方法在高阶星座（如64-QAM）下性能更优，而传统方法在高阶条件下性能通常下降。