[論文レビュー] The Information Bottleneck EM Algorithm

Gal Elidan, Nir Friedman|arXiv (Cornell University)|Oct 19, 2012

Bayesian Modeling and Causal Inference参考文献 18被引用数 31

ひとこと要約

この論文は、隠れ変数に関する情報の冗長性を最小限に抑えつつ、観測された属性についての情報量を最大化するという2つの情報理論的目的のトレードオフを最適化することで、隠れ変数を伴う確率的グラフィカルモデルを学習するための新規手法である情報ボトルネックEM（IB-EM）アルゴリズムを紹介する。この手法は、局所最適解に陥るのを回避し、このトレードオフの段階的改善を通じて、より高いスコアの解に収束する点で、標準EMよりも優れている。

ABSTRACT

Learning with hidden variables is a central challenge in probabilistic graphical models that has important implications for many real-life problems. The classical approach is using the Expectation Maximization (EM) algorithm. This algorithm, however, can get trapped in local maxima. In this paper we explore a new approach that is based on the Information Bottleneck principle. In this approach, we view the learning problem as a tradeoff between two information theoretic objectives. The first is to make the hidden variables uninformative about the identity of specific instances. The second is to make the hidden variables informative about the observed attributes. By exploring different tradeoffs between these two objectives, we can gradually converge on a high-scoring solution. As we show, the resulting, Information Bottleneck Expectation Maximization (IB-EM) algorithm, manages to find solutions that are superior to standard EM methods.

研究の動機と目的

• 隠れ変数を伴う学習において、標準EMアルゴリズムが局所最適解に陥るという限界を解消すること。
• 潜在変数モデルの最適化をガイドする情報理論的原則を組み込んだ新しい学習フレームワークを開発すること。
• 2つの対立する目的をバランスさせること：隠れ変数がインスタンスの識別子について無情報的であることと、観測された属性について情報的であること。
• これらの目的のトレードオフを段階的に改善することで、学習されたモデルの品質を向上させること。
• 得られたIB-EMアルゴリズムが、古典的EM手法と比較して優れた性能を示すことを実証すること。

提案手法

• IB-EMアルゴリズムは、隠れ変数とインスタンス識別子の間の相互情報量を最小化し、隠れ変数と観測された属性の間の相互情報量を最大化するという2つの情報理論的目的のトレードオフとして学習問題を定式化する。
• この目的を1つの最適化基準に統合するためのラグランジュ形式を導入し、トレードオフ係数でパrameter化する。
• Eステップでは、現在のモデルのもとでの事後分布を計算し、MステップではIB目的を最適化するようにモデルパラメータを更新するという、期待値と最大化のステップを繰り返し適用する。
• 解空間の異なる領域を探索し、劣悪な局所最適解から脱出するために、トレードオフ係数を反復ごとに段階的に調整する。
• 情報ボトルネック原理を活用して学習プロセスをガイドし、データ内の最も関連性のある構造のみを隠れ変数が捉えるように保証する。
• 情報理論的制約をパラメータ更新プロセスに統合した、変更を加えたEMフレームワークを用いてアルゴリズムを実装する。

実験結果

リサーチクエスチョン

• RQ1 情報ボトルネック原理は、EMフレームワークに効果的に統合可能か？
• RQ2 IB-EMアルゴリズムは、潜在変数モデルにおいて、標準EMよりも局所最適解に陥りにくいか？
• RQ3 冗長性と情報量のトレードオフは、より高品質なモデル解を生み出すことができるか？
• RQ4 トレードオフ係数の段階的調整は、収束性と解の品質にどのように影響するか？
• RQ5 ベンチマーク学習タスクにおいて、IB-EMの実証的性能は古典的EMと比べてどうか？

主な発見

• IB-EMアルゴリズムは、標準EMがよく陥る局所最適解を効果的に回避し、より高いスコアの解に到達する。
• 冗長性の最小化と情報量の最大化のトレードオフを最適化することで、IB-EMは標準EMよりも高いモデル尤度を達成する。
• 情報ボトルネックによるトレードオフを通じた解空間の構造的探索のおかげで、収束性の向上が見られた。
• UAI 2003会議の実証結果から、IB-EMは隠れ変数を伴うさまざまな学習タスクで、標準EMを一貫して上回ることが示された。
• 初期化が悪かったり、尤度の地形が複雑であったりする状況では、標準EMが高品質な解を見つけることができないが、IB-EMはそのような状況でも特に優れた性能を示した。
• EMフレームワークに情報理論的原則を統合することで、潜在変数学習のための原理的かつ効果的な代替手法が得られた。