[論文レビュー] On the Partition Function and Random Maximum A-Posteriori Perturbations

Tamir Hazan, Tommi Jaakkola|arXiv (Cornell University)|Jun 27, 2012

Gaussian Processes and Bayesian Inference参考文献 24被引用数 45

ひとこと要約

この論文は、確率的グラフィカルモデルにおける分割関数の近似を、モデルのエネルギー関数に対するランダムな摂動を活用することで実現する新しいフレームワークを提案する。最大事後確率（MAP）推論を用いることで、計算が効率的に行える。この手法は、対数分割関数と摂動エネルギーの最大値の期待値との関係を活用し、グラフカットなどの高速なMAPソルバーを用いてスケーラブルな推定を可能にする。特に、信号強度が高く、結合が強い状況、つまりエネルギーの地形が粗い場合に顕著に有効である。

ABSTRACT

In this paper we relate the partition function to the max-statistics of random variables. In particular, we provide a novel framework for approximating and bounding the partition function using MAP inference on randomly perturbed models. As a result, we can use efficient MAP solvers such as graph-cuts to evaluate the corresponding partition function. We show that our method excels in the typical "high signal - high coupling" regime that results in ragged energy landscapes difficult for alternative approaches.

研究の動機と目的

• グラフィカルモデルにおける分割関数の推定という計算上の課題に取り組むこと。これは、ほとんどの非自明なモデルでは計算が困難である。
• 既存の効率的なMAPソルバーを活用することで、高価な列挙やサンプリングを避けるスケーラブルな近似手法を開発すること。
• 信号強度が高く、依存関係が強い状況、つまりエネルギーの地形が粗い場合に、従来の手法が困難に陥る状況での性能向上を図ること。
• 対数分割関数と摂動エネルギー関数の最大値の期待値との間の理論的関係を確立すること。
• ランダムな摂動と複数サンプルの経験的平均を用いて、分割関数の境界と推定値を提供すること。

提案手法

• 各変数のエネルギーに独立同分布のGumbel分布ノイズを追加するランダム摂動モデルを用いる。
• 摂動エネルギー関数の最大値の期待値が、対数分割関数に定数（Gumbelの位置母数）を加えたものに等しいことを確立する。
• 複数の摂動モデルをサンプリングし、MAP目的関数値の経験的平均を計算することで、分割関数を推定する。
• 摂動モデルが元のモデルと同じクラスに属するため、グラフカットなどの効率的なMAPソルバーの使用が可能になる。
• 集中不等式とサンプリング分散を用いて、対数分割関数の下界と上界を提供する。
• MAP推論が実行可能である限り、任意のグラフィカル構造を持つモデルに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 ランダムに摂動されたモデルにおけるMAP推論のみを用いて、分割関数を正確に近似できるか？
• RQ2 高信号・高結合状態における、この手法の標準的手法との性能比較は？
• RQ3 推定器のバイアスと分散について、どのような理論的保証を確立できるか？
• RQ4 このフレームワークを用いて、対数分割関数のタイトな境界を導出できるか？
• RQ5 粗いエネルギーの地形において、精度を向上させながらもスケーラビリティを維持できるか？

主な発見

• グラフカットなどの標準的なMAPソルバーのみを用いて、対数分割関数の一貫性がありスケーラブルな推定器を提供する。
• エネルギーの地形が粗く、従来の手法が失敗する高信号・高結合状態において、特に有効であることが示された。
• 理論的分析により、摂動エネルギーの最大値の期待値が、対数分割関数に定数を加えたものに等しいことが示され、サンプリングによって不偏推定が可能である。
• 実験結果では、困難な推論状態において、ベースライン手法と比較してよりタイトな境界とより正確な推定値が得られた。
• モデル構造を変更せずに既存のMAPソルバーを再利用することで、顕著な計算コストの削減が達成された。
• サンプリングと集中不等式を用いて、分割関数の下界と上界の両方をサポートする。