[論文レビュー] Mutual Information Gradient Estimation for Representation Learning

Liangjian Wen, Yiji Zhou+3 more|arXiv (Cornell University)|May 3, 2020

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 7

ひとこと要約

本稿では、高次元および大相互情報量（MI）設定下での低分散・高精度な相互情報量（MI）勾配推定のための新規手法である相互情報量勾配推定器（MIGE）を提案する。スコアベース推定を用いた暗黙的分布の推定により、MIGEは表現学習における安定な学習を可能にし、従来のMI推定器と比較して、InfoMaxおよび情報ボトルネックフレームワークの両方で顕著な性能向上を達成する。

ABSTRACT

Mutual Information (MI) plays an important role in representation learning. However, MI is unfortunately intractable in continuous and high-dimensional settings. Recent advances establish tractable and scalable MI estimators to discover useful representation. However, most of the existing methods are not capable of providing an accurate estimation of MI with low-variance when the MI is large. We argue that directly estimating the gradients of MI is more appealing for representation learning than estimating MI in itself. To this end, we propose the Mutual Information Gradient Estimator (MIGE) for representation learning based on the score estimation of implicit distributions. MIGE exhibits a tight and smooth gradient estimation of MI in the high-dimensional and large-MI settings. We expand the applications of MIGE in both unsupervised learning of deep representations based on InfoMax and the Information Bottleneck method. Experimental results have indicated significant performance improvement in learning useful representation.

研究の動機と目的

• MIが大きくバッチサイズが小さい状況において、既存の相互情報量（MI）推定器の不安定さと高分散を解消すること。
• MIそのものを推定するのではなく、MIの勾配を直接推定することで表現学習を改善すること。
• 教師なし表現学習および情報ボトルネック法における安定的かつ高精度な学習を可能にすること。
• DVBのような変分アプローチとは異なり、解析的近似事後分布を必要としない手法の開発。
• 教師ありおよび教師なし表現学習タスクにおいて、最先端のMI推定器を上回る性能を示すこと。

提案手法

• MIGEは、暗黙的分布のスコアベース推定を用いて、直接的に相互情報量の勾配を推定する。
• スムージングされたRBFカーネルを用いたスペクトルスティン勾配推定器を採用し、勾配推定の安定性を向上させる。
• 解析的密度近似の必要性を回避することで、一般の分布へも適用可能となる。
• MIGEは、標準的なMI推定器を勾配推定に置き換えることで、InfoMaxおよび情報ボトルネックの目的関数に統合される。
• 推定器は、結合分布と周辺分布の積からのサンプルを区別するためのディスクライマを用いてエンドツーエンドで学習される。
• 論文の式（8）は、スペクトルスレッティング機構を備えた再パラメータライズドスコア関数推定器による勾配推定を形式化している。

実験結果

リサーチクエスチョン

• RQ1 直接的なMI勾配推定は、直接的なMI推定と比較して、より安定的かつ高精度な表現学習を実現できるか？
• RQ2 既存の推定器が失敗する高次元および大MI設定下で、MIGEはどのように性能を発揮するか？
• RQ3 MIGEは、解析的変分近似を必要とせず、InfoMaxおよび情報ボトルネックフレームワークの両方で性能向上を達成できるか？
• RQ4 RP次元がMIGEにおける近似精度と計算コストに与える影響は何か？
• RQ5 MINEおよびDVBと比較して、MIGEの誤分類率および学習安定性はどのように異なるか？

主な発見

• MIGE-IBは、順序不変MNISTで1.05%の誤分類率を達成し、DVB（1.13%）およびMINE-IB（1.11%）を上回る。
• STL-10における分類精度は、表現次元が128まで上昇するが、その後近似限界のため飽和する。
• MIGEは、既存の手法と比較して、高次元および大MI領域におけるMI勾配推定がよりタイトで滑らかである。
• MINE や JSD などの正規化されていないクリティック推定器に一般的に見られる高分散問題を回避し、安定した学習を示す。
• アブレーションスタディの結果、RP次元を128以上に増加させても利得は小さくなり、計算コストは上昇する。
• MIGEは、MI最適化のための信頼性の高い勾配信号を可能にすることで、教師なしおよび教師あり表現学習の両方で最先端の性能を達成する。