[論文レビュー] Understanding the Limitations of Variational Mutual Information Estimators

Jiaming Song, Stefano Ermon|arXiv (Cornell University)|Oct 14, 2019

Neural Networks and Applications参考文献 30被引用数 32

ひとこと要約

この論文は、変分MI推定器（MINEなど）のバイアス-分散と自己整合性の限界を分析し、分散低減アプローチ（SMILE）を提案し、既存手法がMIの基本的性質を満たせないことを示す。

ABSTRACT

Variational approaches based on neural networks are showing promise for estimating mutual information (MI) between high dimensional variables. However, they can be difficult to use in practice due to poorly understood bias/variance tradeoffs. We theoretically show that, under some conditions, estimators such as MINE exhibit variance that could grow exponentially with the true amount of underlying MI. We also empirically demonstrate that existing estimators fail to satisfy basic self-consistency properties of MI, such as data processing and additivity under independence. Based on a unified perspective of variational approaches, we develop a new estimator that focuses on variance reduction. Empirical results on standard benchmark tasks demonstrate that our proposed estimator exhibits improved bias-variance trade-offs on standard benchmark tasks.

研究の動機と目的

• 高次元変数間のMIを変分的ニューラル手法で推定する際の課題を動機づける。
• 主要な推定量（例：MINE、NWJ、CPC）についてのバイアス-分散のトレードオフを特徴づけ、分散の指数的増大の可能性を示す。
• unified density-ratio optimizationの視点を提案し、MI推定の分散低減技術を開発する。
• ベンチマークで推定量を評価し、データ処理や加法性などのMIの性質を評価する自己整合性テストを導入する。

提案手法

• 密度比をP(X,Y)とP(X)P(Y)に関して妥当な比として有効な比に制約したまま、密度比推定を最適化する変分MI推定として formulate する。
• 密度比に基づく推定量（MINE、NWJ、CPC）は、パーティション関数推定に起因して高い分散を示す可能性があることを示す。
• 密度比をクリップして分散を制限しI_SMILEを生み出す（tauパラメータ）。
• クリッピングによるバイアス-分散の理論的分析を提供し、トレードオフを説明する。
• 統一的な生成対識別フレーミングを提案し、どちらのアプローチが失敗する可能性があるかを分析する。
• GaussianおよびCubicの合成タスクで推定量を経験的に比較し、画像データに対して自己整合性テストを実施する。

実験結果

リサーチクエスチョン

• RQ1 変分MI推定量は独立性の下でデータ処理や加法性といったMIの性質を必ず満たすのか。
• RQ2 MINEやNWJのような推定量の分散は真のMIとともにどのようにスケールするのか、MIが大きくなると爆発するのか。
• RQ3 SMILEのような分散低減バリアントはMIの性質に忠実でありつつ、バイアス-分散のトレードオフを改善できるのか。
• RQ4 高次元データ（画像）に適用したときのMI推定量の自己整合性特性はどのようなものか、どの推定量がこれらのテストを通過するのか。
• RQ5 生成的対識別的な変分MI推定量はベンチマークタスク全般で実務的にはどう比較されるのか。

主な発見

• NWJとMINEは基準となるMIとともに指数的に分散が増大する可能性があり、バイアス-分散のトレードオフが悪化する。
• 多くの推定量は、特に画像データ上でデータ処理と独立性の下での加法性など、MIの自己整合性テストを満たさない。
• SMILEは密度比をクリップして分散を低減し（tauハイパーパラメータ）、ベンチマークタスクでのバイアス-分散トレードオフを改善する。
• CPCは分散が小さい反面バイアスが大きい。バイアスはバッチサイズで制御可能だが、計算コストは二次的に増大する。
• 生成的MI推定量は特定のタスクでは良好に機能する場合があるが、MIが小さいときには独立性/データ処理テストに失敗し、識別的推定量はMIが大きいときに加法性に失敗する。
• Gaussian/Cubicベンチマークの実験では、適切なtauを用いたSMILEがNWJ/CPCよりも多くの設定でRMSEを低減する。