[論文レビュー] Variational Predictive Information Bottleneck

Alexander A. Alemi|arXiv (Cornell University)|Oct 23, 2019

Gaussian Processes and Bayesian Inference参考文献 19被引用数 10

ひとこと要約

この論文は、予測情報ボトルネックの変分的下界を導出することで、ベイズ推論、最尤推定、変分推論といった現代の推論手法を統一する情報理論的目的関数に基づく変分的予測情報ボトルネックフレームワークを提案する。予測情報ボトルネックの変分的下界を導出することで、一般化されたベイズ推論（温度正則化や経験ベイズ的手法も含む）が自然に特殊ケースとして現れることを示し、一般化性能の向上を図る表現中心の学習の原理的枠組みを提供する。

ABSTRACT

In classic papers, Zellner demonstrated that Bayesian inference could be derived as the solution to an information theoretic functional. Below we derive a generalized form of this functional as a variational lower bound of a predictive information bottleneck objective. This generalized functional encompasses most modern inference procedures and suggests novel ones.

研究の動機と目的

• 予測情報に基づく情報理論的目的関数に裏打ちされた、多様な推論手法を統一する。
• 予測情報ボトルネックの変分的下界を導出し、既存の推論手順を一般化する。
• ベイズ推論、最尤推定、変分推論といった標準的手法が、一般化推論フレームワークの特殊ケースとして現れることを示す。
• 将来のデータに条件づけた残差情報の最小化によって一般化性能を向上させる表現中心の学習の視点を提供する。
• 一般的な変分近似（例えば、因子分解された尤度や無条件事前分布）を緩和することで、新たな推論手法を動機づける。

提案手法

• 予測情報と表現情報のバランスを取るためにラグランジュ乗数βを導入し、制約なしの変分的目的関数を導出する。
• 将来のデータに依存しない変分的事前分布 q(θ) を用いて、残差情報 I(θ; xP|x_F) の変分的上界を提案する。
• 尤度を因子分解積 ∏i q(xi|θ) として近似することで、I(θ; xP) に対する変分的下界を適用し、目的関数を扱いやすくする。
• 両方の境界を統合した目的関数 E[log p(θ|xP)/q(θ) - β ∑i log q(xi|θ)] を構築し、これは予測情報ボトルネックの下界として機能する。
• β の異なる値が、既知の推論状態を回復することを示す：β→0（事前予測）、β=1（ベイズ）、β→∞（最尤推定）。
• データ拡張とパラメトリック族を含めるようにフレームワークを拡張し、拡張されたデータにおける一般化ベイズ推論が有効な下界のまま保たれることを示す。

実験結果

リサーチクエスチョン

• RQ1 情報理論的目的関数を用いて、ベイズ推論、最尤推定、変分推論といった多様な推論手順を統一する方法は何か？
• RQ2 ラグランジュ乗数βが予測力と表現複雑性のトレードオフを制御する役割を果たす仕組みは何か？
• RQ3 事後分布および将来のデータ分布に対する変分近似が、情報ボトルネック境界のタイトさに与える影響は何か？
• RQ4 一般化ベイズ推論とデータ拡張が、このフレームワーク内に自然に埋め込まれ、有効な下界として保たれるか？
• RQ5 代替データセットに基づく q(θ|x_F) に依存するより情報に基づいた事前分布に、無条件の変分的事前分布 q(θ) を置き換えると、どのような影響があるか？

主な発見

• 提案された変分的下界は、ゼルナーのベイズ推論を一般化し、β=1 でベイズ推論、β→0 で事前予測推論がそれぞれ極限ケースとして現れる。
• 尤度が因子分解され、事前分布が固定されている場合、フレームワークは標準的な変分推論を回復し、パラメトリック族ではギブス変分推論に拡張される。
• 固定された表現と β=1 の下で、経験ベイズおよびニューラルプロセス手法が特殊ケースとして現れることを示した。
• 尤度が指数型分布族に属する場合、ゼロ平均のノイズを用いたデータ拡張は、変分的境界を保ち、データ摂動下でも頑健な推論を可能にする。
• 代替データセットに基づく条件付き近似 q(θ|x_F) に無条件事前分布 q(θ) を置き換えることで、よりタイトな境界が達成され、一般化性能が向上する。
• 表現中心の視点により、因子分解された尤度や固定された事前分布といった一般的な変分的近似が非効率であることが明らかになり、推論品質の向上に向けた緩和が可能であることが示された。