[论文解读] Neural Entropic Estimation: A faster path to mutual information estimation

Chung Chan, Ali Al-Bashabsheh+4 more|arXiv (Cornell University)|May 30, 2019

Neural Networks and Applications参考文献 26被引用 12

一句话总结

该论文提出 MI-NEE，一种新颖的神经估计方法，通过首先使用均匀参考分布估计熵，从而加速互信息估计，其收敛速度优于 MINE。通过将 MINE 的边缘乘积参考分布替换为均匀分布，MI-NEE 实现了显著更快的收敛速度——在二元及高维高斯模型中，训练迭代次数最多减少 70%，同时通过在低密度区域改善梯度信号，保持了高精度。

ABSTRACT

We point out a limitation of the mutual information neural estimation (MINE) where the network fails to learn at the initial training phase, leading to slow convergence in the number of training iterations. To solve this problem, we propose a faster method called the mutual information neural entropic estimation (MI-NEE). Our solution first generalizes MINE to estimate the entropy using a custom reference distribution. The entropy estimate can then be used to estimate the mutual information. We argue that the seemingly redundant intermediate step of entropy estimation allows one to improve the convergence by an appropriate reference distribution. In particular, we show that MI-NEE reduces to MINE in the special case when the reference distribution is the product of marginal distributions, but faster convergence is possible by choosing the uniform distribution as the reference distribution instead. Compared to the product of marginals, the uniform distribution introduces more samples in low-density regions and fewer samples in high-density regions, which appear to lead to an overall larger gradient for faster convergence.

研究动机与目标

• 为解决互信息神经估计（MINE）在高维和低相关性设置下的收敛缓慢问题。
• 通过引入基于自定义参考分布的中间熵估计步骤，提升训练效率。
• 证明均匀参考分布相比 MINE 的边缘乘积参考分布可实现更快的收敛速度。
• 为数据有限且维度较高的实际应用提供更可靠、更快速的 MINE 替代方案。
• 在二元和高维高斯模型上验证该方法，展示其更优的收敛速度和稳定性。

提出的方法

• MI-NEE 通过使用相对于自定义参考分布的熵估计，而非直接估计互信息，从而推广了 MINE。
• 该方法使用神经网络估计联合分布与参考分布之间的 KL 散度，从而实现熵估计。
• 选择均匀参考分布以增强低密度区域的梯度幅值，改善优化动态。
• 随后通过联合熵与边缘熵之差计算互信息，其中边缘熵单独估计。
• 该方法采用更大的参考样本量（最高可达数据量的 300 倍），以减少过拟合并提升稳定性。
• 应用移动平均以平滑估计结果，并通过验证监控实现早期停止，防止过拟合。

实验结果

研究问题

• RQ1 通过自定义参考分布进行熵估计，能否提升互信息估计的收敛速度？
• RQ2 将 MINE 的边缘乘积参考分布替换为均匀分布，是否可实现更快的训练收敛？
• RQ3 在高维和低相关性高斯模型上，MI-NEE 相较于 MINE 表现如何？
• RQ4 MI-NEE 是否能避免 MINE 中常见的阶梯式收敛模式，该模式可能导致早期停止的误判？
• RQ5 参考分布的选择对梯度幅值和优化效率有何影响？

主要发现

• 在二元混合高斯模型（MG(0.9)）上，MI-NEE 约在 20,000 次迭代内收敛至真实值的 10% 以内，而 MINE 需要接近 70,000 次迭代。
• 在高维高斯模型（HG(0.9,6)）上，MI-NEE 约在 6,000 次迭代内收敛，而 MINE 在 25,000 次迭代内未能收敛。
• MINE 展现出一种具有问题的阶梯式收敛模式，包含两个明显的跳跃，增加了因误判收敛而过早终止的风险。
• 即使参考样本量更大，MI-NEE 仍表现出更快的收敛速度，且可通过增加参考样本量或使用基于验证的早期停止来缓解过拟合。
• 使用均匀参考分布可增强低密度区域的梯度信号，相比 MINE 的边缘乘积参考分布，带来更稳定且更快的优化。
• 该方法在不同相关性水平和维度下均表现稳健，在低维与高维设置中均一致优于 MINE。