[論文レビュー] Pairwise MRF Calibration by Perturbation of the Bethe Reference Point

Cyril Furtlehner, Yufei Han+2 more|arXiv (Cornell University)|Oct 19, 2012

Bayesian Modeling and Causal Inference参考文献 43被引用数 3

ひとこと要約

本稿では、2次相互情報量の最大スパニングツリーに基づくBethe平均場参照点を摂動することで、逆イジング模型およびガウスマルコフ確率場（MRF）問題を解くための新規フレームワークを提案する。3つの手法——反復比例スケーリング、低次元空間における自然勾配降下、Bethe双対グラフ上のデュアルウェイト伝搬——を導入し、Belief Propagation（BP）互換のスパースモデル選択を効率的に行い、平面的モデルの一部においてはO(N²)時間で正確な線形応答計算を可能にする。

ABSTRACT

We investigate different ways of generating approximate solutions to the pairwise Markov random field (MRF) selection problem. We focus mainly on the inverse Ising problem, but discuss also the somewhat related inverse Gaussian problem because both types of MRF are suitable for inference tasks with the belief propagation algorithm (BP) under certain conditions. Our approach consists in to take a Bethe mean-field solution obtained with a maximum spanning tree (MST) of pairwise mutual information, referred to as the \emph{Bethe reference point}, for further perturbation procedures. We consider three different ways following this idea: in the first one, we select and calibrate iteratively the optimal links to be added starting from the Bethe reference point; the second one is based on the observation that the natural gradient can be computed analytically at the Bethe point; in the third one, assuming no local field and using low temperature expansion we develop a dual loop joint model based on a well chosen fundamental cycle basis. We indeed identify a subclass of planar models, which we refer to as \emph{Bethe-dual graph models}, having possibly many loops, but characterized by a singly connected dual factor graph, for which the partition function and the linear response can be computed exactly in respectively O(N) and $O(N^2)$ operations, thanks to a dual weight propagation (DWP) message passing procedure that we set up. When restricted to this subclass of models, the inverse Ising problem being convex, becomes tractable at any temperature. Experimental tests on various datasets with refined $L_0$ or $L_1$ regularization procedures indicate that these approaches may be competitive and useful alternatives to existing ones.

研究の動機と目的

• 大規模でリアルタイムな推論を想定した、スパースかつBP互換のMRF構造選択の課題に取り組む。
• Belief Propagation（BP）と互換性がない、または高相関下で失敗する既存の逆イジングおよびガウスMRF手法の限界を克服する。
• ヒューリスティック法や計算コストの高い手法に代わる、理論的裏付けがあり効率的な、2次元MRFにおけるモデル選択の代替手法を開発する。
• 単一連結な双対因子グラフを持つ平面的モデルの部分集合を同定することで、任意の温度で逆イジング問題を解けるようにする。
• スパarsity制約とウォークサムブルリティ条件を統合し、高次元設定下でも安定的かつ効率的なBP推論を可能にする。

提案手法

• 2次相互情報量の最大スパニングツリー（MST）に基づくBethe近似を、摂動の参照点として用いる。
• 反復比例スケーリング（IPS）を適用し、MSTの骨格に最適なリンクを段階的に追加することで、BP互換性とスパarsityを保証する。
• Bethe点における解析的自然勾配計算を活用し、低次元パラメータ空間での最適化を支援する。
• Bethe双対グラフにおけるデュアルウェイト伝搬（DWP）を考案し、それぞれO(N)およびO(N²)時間で正確な分配関数と線形応答計算を可能にする。
• 低温展開を用いて、基本サイクル基底に基づく二重ループ共同モデルを導出し、Bethe双対グラフの部分クラスにおいて正確な推論を実現する。
• L₀またはL₁正則化をモデル選択パイプラインに統合し、スパarsityを維持するとともに、ウォークサムブルリティおよびBP互換性を保つ。

実験結果

リサーチクエスチョン

• RQ1 2次相互情報量のMSTに基づくBethe平均場解が、逆MRFモデル選択のための安定的かつ情報豊富な参照点として機能できるか？
• RQ2 摂動法をBethe参照点に体系的かつ効果的に適用することで、モデル尤度とスパarsityを向上させるとともに、BP互換性を維持できるか？
• RQ3 Bethe双対グラフにおけるデュアルウェイト伝搬（DWP）が、正確な線形応答および分配関数計算において、計算的・理論的優位性を示す条件は何か？
• RQ4 ループが存在する状況下でも、逆イジング問題がどのような条件下で解けるようになるか。この性質は非平面的または高相関設定に一般化可能か？
• RQ5 実世界のデータセット（Sioux-FallsおよびIAU交通データ）を用いた実験において、提案手法は既存手法と比較して予測性能、スパarsity、計算効率の点でどのように差をつけるか？

主な発見

• Bethe双対グラフの部分クラスでは、デュアルウェイト伝搬（DWP）を用いて分配関数をO(N)、線形応答をO(N²)時間で正確に計算可能であり、大幅な効率向上が達成された。
• Bethe双対グラフに制限することで、凸性と正確な推論能力のおかげで、任意の温度下でも逆イジング問題が解けるようになる。
• Bethe参照点からの反復比例スケーリングにより、スパースかつBP互換のモデルが得られ、ガウスおよびイジングデータにおいてベースライン手法を上回る性能を示した。特に高相関下でも優れた性能を発揮した。
• Sioux-Falls交通データセットでは、グリーディ選択によるスパースガウスモデルが、完全なガウスモデルと同等の性能を示し、k-NNを上回った。最良のイジングモデルはタイプ(ii)符号化とBPを併用していた。
• IAUデータセットでは、完全なガウスモデルがk-NNと同等の性能を示したが、最良のイジングモデルは高相関のため性能が低く、多様態や高相関システムのモデル化における限界が示された。
• Bethe点における自然勾配降下に基づく手法により、正確な感受度評価が可能となり、従来の平均場アプローチにおける計算ボトル neck を克服した。