[論文レビュー] Neural Entropic Estimation: A faster path to mutual information estimation

Chung Chan, Ali Al-Bashabsheh+4 more|arXiv (Cornell University)|May 30, 2019

Neural Networks and Applications参考文献 26被引用数 12

ひとこと要約

本稿では、最初に均一な参照分布を用いてエントロピーを推定することで、MINE よりも高速な収束を実現する、新たなニューラル推定手法 MI-NEE を提案する。MINE の積のマージナル参照分布を均一分布に置き換えることで、2次元および高次元ガウスモデルにおいて最大70%の訓練反復回数を削減するが、低密度領域における改善された勾配信号により、精度を維持することができる。

ABSTRACT

We point out a limitation of the mutual information neural estimation (MINE) where the network fails to learn at the initial training phase, leading to slow convergence in the number of training iterations. To solve this problem, we propose a faster method called the mutual information neural entropic estimation (MI-NEE). Our solution first generalizes MINE to estimate the entropy using a custom reference distribution. The entropy estimate can then be used to estimate the mutual information. We argue that the seemingly redundant intermediate step of entropy estimation allows one to improve the convergence by an appropriate reference distribution. In particular, we show that MI-NEE reduces to MINE in the special case when the reference distribution is the product of marginal distributions, but faster convergence is possible by choosing the uniform distribution as the reference distribution instead. Compared to the product of marginals, the uniform distribution introduces more samples in low-density regions and fewer samples in high-density regions, which appear to lead to an overall larger gradient for faster convergence.

研究の動機と目的

• 相互情報量ニューラル推定（MINE）の収束が遅い問題、特に高次元および低相関設定において解決すること。
• カスタム参照分布を用いた中間のエントロピー推定ステップを導入することで、訓練効率を向上させること。
• 均一な参照分布が MINE の積のマージナル参照よりも高速な収束をもたらすことを示すこと。
• 限られたデータと高次元性を伴う実世界の応用において、MINE よりもより信頼性が高く高速な代替手法を提供すること。
• 2次元および高次元ガウスモデル上で手法を検証し、収束速度と安定性の優位性を示すこと。

提案手法

• MI-NEE は MINE を一般化し、直接的な相互情報量推定ではなく、カスタム参照分布に関するエントロピー推定を実施する。
• この手法は、ニューラルネットワークを用いて結合分布と参照分布間の KL 発散を推定し、エントロピー推定を可能にする。
• 低密度領域における勾配の大きさを高めるために、均一な参照分布を選択する。
• その後、結合エントロピーと周辺エントロピーの差分として相互情報量を計算する。周辺エントロピーは別々に推定される。
• 過学習を低減し、安定性を向上させるために、最大でデータサイズの300倍の参照サンプルサイズを用いる。
• 推定値をなめらかにするために移動平均を適用し、検証監視を用いた早期停止により過学習を防止する。

実験結果

リサーチクエスチョン

• RQ1 カスタム参照分布を用いたエントロピー推定は、相互情報量推定の収束速度を向上させることができるか？
• RQ2 MINE の積のマージナル参照を均一分布に置き換えることで、訓練収束が速くなるか？
• RQ3 MI-NEE は高次元および低相関ガウスモデルにおいて MINE よりも優れた性能を示すか？
• RQ4 MI-NEE は MINE が示す「階段状の収束パターン」を回避できるか？このパターンは、収束の誤解による過剰停止のリスクを高める。
• RQ5 参照分布の選択が勾配の大きさおよび最適化効率に与える影響は何か？

主な発見

• 2次元混合ガウスモデル（MG(0.9)）では、MI-NEE は約 20,000 イテレーションで真値の 10% 以内に収束するが、MINE はほぼ 70,000 イテレーションを要する。
• 高次元ガウスモデル（HG(0.9,6)）では、MI-NEE は約 6,000 イテレーションで収束するが、MINE は 25,000 イテレーション以内に収束しない。
• MINE は2つの明確なジャンプを示す問題的な「階段状の収束パターン」を示し、収束の誤解による過剰停止のリスクが高まる。
• MI-NEE はより大きな参照サンプルサイズでも高速な収束を示し、参照サンプル数を増やすか、検証ベースの早期停止を用いることで過学習を緩和できる。
• 均一な参照分布の使用により、低密度領域における勾配信号が強化され、MINE の積のマージナル参照よりもより安定的かつ高速な最適化が実現される。
• 本手法は相関レベルや次元数に関係なく頑健であり、低次元および高次元設定の両方で MINE より一貫した性能向上を示す。