[论文解读] Discriminative Mutual Information Estimators for Channel Capacity Learning

Nunzio A. Letizia, Andrea M. Tonello|arXiv (Cornell University)|Jul 7, 2021

Wireless Signal Modulation Classification参考文献 28被引用 5

一句话总结

本文提出CORTICAL，一种协作式深度学习框架，通过利用判别器直接估计输入与输出信号之间的互信息，从而估计任意无记忆向量信道的容量。该方法引入了两种判别式互信息估计器——dDIME与iDIME，其在高维及低信噪比（SNR）场景下，相较于MINE展现出更低方差与更高精度。

ABSTRACT

Channel capacity plays a crucial role in the development of modern communication systems as it represents the maximum rate at which information can be reliably transmitted over a communication channel. Nevertheless, for the majority of channels, finding a closed-form capacity expression remains an open challenge. This is because it requires to carry out two formidable tasks a) the computation of the mutual information between the channel input and output, and b) its maximization with respect to the signal distribution at the channel input. In this paper, we address both tasks. Inspired by implicit generative models, we propose a novel cooperative framework to automatically learn the channel capacity, for any type of memory-less channel. In particular, we firstly develop a new methodology to estimate the mutual information directly from a discriminator typically deployed to train adversarial networks, referred to as discriminative mutual information estimator (DIME). Secondly, we include the discriminator in a cooperative channel capacity learning framework, referred to as CORTICAL, where a discriminator learns to distinguish between dependent and independent channel input-output samples while a generator learns to produce the optimal channel input distribution for which the discriminator exhibits the best performance. Lastly, we prove that a particular choice of the cooperative value function solves the channel capacity estimation problem. Simulation results demonstrate that the proposed method offers high accuracy.

研究动机与目标

• 解决大多数信道缺乏闭式表达式时估计信道容量这一长期存在的挑战。
• 克服在一般无记忆信道中计算互信息及其在输入分布上最大化所面临的不可计算性问题。
• 开发一种数据驱动、端到端的框架，以学习最优输入分布，实现最大信息传输。
• 提出新型判别式互信息估计器，其在偏差、方差与可扩展性方面优于现有变分界。

提出的方法

• 提出dDIME（直接DIME）估计器，一种源自生成对抗网络（GAN）式判别器的判别式互信息估计器，用于区分联合样本与边缘分布乘积样本。
• 引入iDIME（间接DIME）估计器，采用参数化代价函数并结合α正则化，以提升稳定性并降低方差。
• 构建生成器（建模最优输入分布）与判别器（估计互信息）之间的协作博弈，形成CORTICAL框架。
• 利用KL散度的Donsker-Varadhan表示法，推导出互信息的变分下界，从而支持通过随机优化进行训练。
• 通过训练生成器以最大化判别器性能，实现对互信息的隐式最大化，从而估计信道容量。
• 引入一种协作价值函数，在特定条件下可精确求解信道容量估计问题。

实验结果

研究问题

• RQ1 能否将GAN式判别器重新用于估计信道输入与输出信号之间的互信息，从而实现容量学习？
• RQ2 在不同SNR与维度设置下，所提出的dDIME与iDIME估计器相较于MINE在偏差、方差与精度方面表现如何？
• RQ3 CORTICAL框架是否能在不预先知晓信道特性的情况下，学习到连续与离散调制方案的最优输入分布？
• RQ4 α参数对估计器稳定性与性能的影响如何，特别是在低SNR条件下？
• RQ5 在无记忆向量信道中，生成器-判别器协作训练的框架是否收敛至真实信道容量？

主要发现

• dDIME估计器相较于MINE与iDIME方差更低，仅在精度上略有折损，因此在实际部署中更具稳定性。
• iDIME估计器在精度上优于MINE，尤其在高维场景（如10维高斯分布）下表现更优，且在不同SNR水平下保持低方差。
• dDIME估计器在估计过程中仅使用联合样本，简化了数据采集流程，提升了训练效率。
• iDIME估计器同时使用联合样本与边缘样本，其精度高于MINE与dDIME，但方差较高，与NWJ基估计器类似。
• 在AWGN信道中，CORTICAL成功学习到与理论容量极限一致的2D高斯输入分布，经星座图可视化与互信息估计验证。
• 对于离散输入（8-PSK），该框架获得的互信息估计值与现有调制方案相当，证明其在实际调制星座图中的适用性。