[論文レビュー] DEMI: Discriminative Estimator of Mutual Information

Ruizhi Liao, Daniel Moyer+2 more|arXiv (Cornell University)|Oct 5, 2020

Domain Adaptation and Few-Shot Learning参考文献 29被引用数 6

ひとこと要約

DEMIは、結合分布p(x,y)からのペairedデータと周辺分布の積p(x)p(y)からのunpairedデータを区別するための分類器を訓練することで、相互情報量（MI）の判別的ニューラル推定器を提案する。分類器の出力から得られる対数オッズを活用することで、変分境界やパーティション関数推定に依存せず、統計的に安定で分散が小さいMI推定が可能となり、特に高MIまたは低MIの状況下でも変分法に比べて優れた性能を発揮する。

ABSTRACT

Estimating mutual information between continuous random variables is often intractable and extremely challenging for high-dimensional data. Recent progress has leveraged neural networks to optimize variational lower bounds on mutual information. Although showing promise for this difficult problem, the variational methods have been theoretically and empirically proven to have serious statistical limitations: 1) many methods struggle to produce accurate estimates when the underlying mutual information is either low or high; 2) the resulting estimators may suffer from high variance. Our approach is based on training a classifier that provides the probability that a data sample pair is drawn from the joint distribution rather than from the product of its marginal distributions. Moreover, we establish a direct connection between mutual information and the average log odds estimate produced by the classifier on a test set, leading to a simple and accurate estimator of mutual information. We show theoretically that our method and other variational approaches are equivalent when they achieve their optimum, while our method sidesteps the variational bound. Empirical results demonstrate high accuracy of our approach and the advantages of our estimator in the context of representation learning. Our demo is available at https://github.com/RayRuizhiLiao/demi_mi_estimator.

研究の動機と目的

• 既存の変分MI推定器が高MIまたは低MIの状況で統計的限界に直面し、分散が大きいという問題を解決すること。
• 変分下界がO(log N)に制限される理論的限界を克服し、MIが大きい場合でも正確な推定が可能になるようにすること。
• 複雑な密度関数やパーティション関数の推定を回避することで、判別的アプローチにおける分散の主な要因を排除すること。
• 結合分布と周辺分布の判別タスクにおける分類器の性能とMI推定の間の直接的な関連を確立すること。
• 現代の高次元表現学習タスクに適した単純でスケーラブルかつ高精度なMI推定器を開発すること。

提案手法

• 結合分布p(x,y)からのペアデータと周辺分布の積p(x)p(y)からのunpairedデータを区別するための二値分類器を訓練する。
• ランダムシャッフルやリサンプリングによるデータ拡張を用いて、同じデータセットから周辺統計を保持したunpairedサンプルを生成する。
• 理論的関係に基づき、テストセットにおける分類器の予測の平均対数オッズをMI推定値として用いる。
• 密度推定を回避するため、結合分布と周辺分布の積の間の尤度比を直接モデル化することで、変分境界を一切用いない。
• 補正パラメータ（温度スケーリング）αを分類器の出力に適用し、キャリブレーションを向上させ、分散を低減する。実験ではα=0.5が最適な性能を示した。
• 分類器に深層ニューラルネットワークを適用し、判別的タスクにおける現代の深層学習の表現力と安定性を活用する。

実験結果

リサーチクエスチョン

• RQ1 結合分布と周辺分布のデータを区別するように訓練された判別的分類器が、変分法に比べてより正確で安定したMI推定を可能にするか？
• RQ2 提案手法が、高MI推定において変分下界のO(log N)という理論的限界を克服できるか？
• RQ3 MINE や CCMI といった最先端の推定器と比較して、DEMIの性能はMIのレベル（低〜高）にかかわらずどのように変化するか？
• RQ4 分類器の出力の対数オッズを、変分近似なしに直接MI推定に用いることができるか？
• RQ5 本手法は、多様なデータ分布や高次元設定下でも低分散かつ高精度を維持できるか？

主な発見

• DEMIは、すべてのMIレベルでMINE や CCMI よりも顕著に低い推定誤差を達成しており、特にMINEが失敗する高MI状況下で顕著な優位性を示す。
• MI = 80の場合、DEMI（α=0.5）は66.7 ± 1.5を推定したのに対し、MINEは59.1 ± 0.7、CCMIは63.8 ± 0.8を記録し、高MI状況下での優れた精度を実証した。
• 低MI（例：MI = 0.1）においても、DEMI（α=0.5）は2.0 ± 0.3を推定し、MINE（2.0 ± 0.3）やCCMI（2.0 ± 0.3）を上回り、全範囲にわたるロバストネスを示した。
• DEMIは全MIレベルで低分散を維持しており、標準誤差が常に2.0未満であった。一方、MINEは高分散を示し（例：MI=60で1.0）、顕著な差が見られた。
• 合成データおよび実画像データセットの両方で最先端の性能を達成し、表現学習ベンチマークにおいて一貫した改善を示した。
• 理論的解析により、DEMIと変分法は最適解において等価であることが確認されたが、DEMIは変分境界を完全に回避することで、より信頼性の高い推定が可能になった。