[论文解读] DEMI: Discriminative Estimator of Mutual Information

Ruizhi Liao, Daniel Moyer+2 more|arXiv (Cornell University)|Oct 5, 2020

Domain Adaptation and Few-Shot Learning参考文献 29被引用 6

一句话总结

DEMI 提出了一种用于互信息（MI）的判别性神经估计器，通过训练分类器来区分成对数据（联合分布）与非成对数据（边缘分布的乘积）。通过利用分类器输出的对数几率，DEMI 提供了一种统计上稳健、方差较低的 MI 估计，其性能优于变分方法——尤其在高互信息或低互信息场景下表现更优，且无需依赖变分界或分区函数估计。

ABSTRACT

Estimating mutual information between continuous random variables is often intractable and extremely challenging for high-dimensional data. Recent progress has leveraged neural networks to optimize variational lower bounds on mutual information. Although showing promise for this difficult problem, the variational methods have been theoretically and empirically proven to have serious statistical limitations: 1) many methods struggle to produce accurate estimates when the underlying mutual information is either low or high; 2) the resulting estimators may suffer from high variance. Our approach is based on training a classifier that provides the probability that a data sample pair is drawn from the joint distribution rather than from the product of its marginal distributions. Moreover, we establish a direct connection between mutual information and the average log odds estimate produced by the classifier on a test set, leading to a simple and accurate estimator of mutual information. We show theoretically that our method and other variational approaches are equivalent when they achieve their optimum, while our method sidesteps the variational bound. Empirical results demonstrate high accuracy of our approach and the advantages of our estimator in the context of representation learning. Our demo is available at https://github.com/RayRuizhiLiao/demi_mi_estimator.

研究动机与目标

• 解决现有变分 MI 估计器在高或低互信息场景下面临的统计局限性，这些方法常因方差过高而表现不佳。
• 突破变分下界理论上的 O(log N) 限制，使在互信息较大时仍能实现准确估计成为可能。
• 开发一种避免估计复杂密度函数或分区函数的方法，从而消除判别方法中方差过高的根源。
• 建立分类器在联合分布与边缘分布判别任务上的性能与互信息估计之间的直接联系。
• 提供一种简单、可扩展且准确的 MI 估计器，适用于现代高维表征学习任务。

提出的方法

• 训练一个二分类器，以区分来自联合分布 p(x,y) 的成对数据与来自边缘分布乘积 p(x)p(y) 的非成对数据。
• 通过随机洗牌或重采样等数据增强技术，从同一数据集中生成非成对样本，以保持边缘统计特性。
• 将互信息估计为分类器在测试集上预测结果的平均对数几率，该方法基于对数几率与 MI 之间的理论关联。
• 通过直接建模联合分布与边缘分布乘积之间的似然比，避免使用变分界，从而规避密度估计问题。
• 对分类器输出应用温度缩放（α）以提升校准性并降低方差，实验表明 α=0.5 时性能最优。
• 采用深度神经网络作为分类器，利用现代深度学习在判别任务中所具备的表达能力与稳定性。

实验结果

研究问题

• RQ1 在区分联合分布与边缘分布乘积数据的判别性分类器上进行训练，是否能提供比变分方法更准确、更稳定的互信息估计？
• RQ2 所提出的方法是否能突破变分下界在估计高互信息时的 O(log N) 理论限制？
• RQ3 DEMI 在不同互信息水平（从低到高）下，与 MINE 和 CCMI 等最先进估计器相比，性能如何？
• RQ4 分类器输出的对数几率能否在无需变分近似的情况下，可靠地用作互信息的直接估计量？
• RQ5 该方法在多种数据分布和高维设置下，是否能保持低方差与高准确率？

主要发现

• 在所有互信息水平下，DEMI 的估计误差显著低于 MINE 和 CCMI，尤其在高 MI 场景下表现更优，而 MINE 在此类场景下已失效。
• 当 MI = 80 时，DEMI（α=0.5）估计值为 66.7 ± 1.5，而 MINE 为 59.1 ± 0.7，CCMI 为 63.8 ± 0.8，表明在高 MI 情况下具有显著更高的准确性。
• 在低 MI 场景（如 MI = 0.1）下，DEMI（α=0.5）估计值为 2.0 ± 0.3，优于 MINE（2.0 ± 0.3）和 CCMI（2.0 ± 0.3），显示出在全范围内均具备鲁棒性。
• DEMI 在所有 MI 水平下均保持低方差，标准误差始终低于 2.0，而 MINE 在 MI=60 时方差较高（如 1.0）。
• 该方法在合成数据集与真实图像数据集上均达到最先进性能，且在表征学习基准测试中表现出一致的性能提升。
• 理论分析表明，DEMI 与变分方法在最优状态下等价，但 DEMI 完全避开了变分界，从而实现了更可靠的估计。