[論文レビュー] On Variational Bounds of Mutual Information

Ben Poole, Sherjil Ozair+3 more|arXiv (Cornell University)|May 16, 2019

Face and Expression Recognition被引用数 153

ひとこと要約

本論文は相互情報量（MI）に対する変分境界を統合・拡張し、バイアスと分散をトレードオフする連続的な下限を導入し、それらの推定と高次元での表現学習における有用性を示す。

ABSTRACT

Estimating and optimizing Mutual Information (MI) is core to many problems in machine learning; however, bounding MI in high dimensions is challenging. To establish tractable and scalable objectives, recent work has turned to variational bounds parameterized by neural networks, but the relationships and tradeoffs between these bounds remains unclear. In this work, we unify these recent developments in a single framework. We find that the existing variational lower bounds degrade when the MI is large, exhibiting either high bias or high variance. To address this problem, we introduce a continuum of lower bounds that encompasses previous bounds and flexibly trades off bias and variance. On high-dimensional, controlled problems, we empirically characterize the bias and variance of the bounds and their gradients and demonstrate the effectiveness of our new bounds for estimation and representation learning.

研究の動機と目的

• 既存のMI推定量を1つのフレームワーク内でレビューし、関連づける。
• MI推定のためのバイアスと分散をトレードオフする連続的な下限を導入する。
• 条件付き構造を活用して、表現学習の文脈でMIを挟み込む扱いやすい境界を導出する。
• 高次元問題における推定量と勾配のバイアス/分散を実証的に特徴づける。
• dSpritesにおけるデコーダーフリーの分離表現学習で境界を実証する。

提案手法

• 無正規化変分フレームワーク内でBarber & Agakov、Donsker–Varadhan、Nguyen–Wainwright–Jordan、MINE境界をレビューおよび統合する。
• Tractable Unnormalized Barber–Agakov (TUBA) boundを導入。対数分配を a(y) で上限化してMIの扱いやすい下限を得る。
• 多重サンプル境界を導出し、NCE下限を特殊ケースとして回収し、NWJと多重サンプル推定量を結びつける。
• 非線形補間境界 I_alpha を提案。m(y; x_{1:K}) と q(y) を混合してバイアスと分散をトレードオフする（alpha ∈ [0,1]）。
• p(y|x) が扱いやすい場合の構造化境界を提示。既知の条件付きと leave-one-out 上限を含む InfoNCE 境界を含む。
• 密度比推定器をMI境界に変換する方法を示し、安定性のためのJSベースのクリティックについて議論する。

実験結果

リサーチクエスチョン

• RQ1 既存の variational MI 境界は1つのフレームワーク内でどのように関連し、それらのトレードオフは何か？
• RQ2 低バイアス/高分散と高バイアス/低分散の推定量の間を補間するMI境界の連続体を構築できるか？
• RQ3 既知の条件付き構造 p(y|x) を表現学習の MI境界の厳密化にどう活用できるか？
• RQ4 高次元設定におけるMI推定量とその勾配のバイアスと分散の特性は？
• RQ5 MI境界はデコーダーフリーの分離表現学習に有効に使えるか？

主な発見

• 連続的な下限の集合（I_TUBA, I_NWJ, I_NCE, I_JS）は、MI推定におけるバイアスと分散のトレードオフを可能にする。
• 補間境界 I_alpha は NWJ と NCE の間を橋渡しし、alpha（0から1）を介してバイアス-分散を調整できる。
• マルチサンプル境界は NCE 推定量を特殊ケースとして再現し、追加サンプルによって分散を低減する。
• 最適な批評家は選択した境界に依存する可能性がある。結合型批評家と分離型批評家は実験で異なる分散特性を示す。
• 密度が扱える場合には上限と下限の境界がMIを挟み込むことができ、表現学習に実用的な境界を提供する。
• デコーダーフリーの InfoMax_STYLE 学習は dSprites で、境界の実用性を分離表現学習に対して示している。