[論文レビュー] Bethe Bounds and Approximating the Global Optimum

Adrian Weller, Tony Jebara|arXiv (Cornell University)|Jan 1, 2012

Genomics and Chromatin Dynamics参考文献 22被引用数 3

ひとこと要約

本稿は、次数が有界な関連性のある二値2項MRFにおけるベーゼ自由エネルギーのグローバル最小化のための多項式時間近似スキーム（PTAS）を提示する。ヘッセ行列の最大固有値に対するタイトな上限を導出し、ベーゼ境界伝播を用いることで、離散化メッシュ上での効率的なグラフカットベース最適化を可能にし、2階微分の制御により近似保証を達成する。

ABSTRACT

Inference in general Markov random fields (MRFs) is NP-hard, though identifying the maximum a posteriori (MAP) configuration of pairwise MRFs with submodular cost functions is efficiently solvable using graph cuts. Marginal inference, however, even for this restricted class, is in #P. We prove new formulations of derivatives of the Bethe free energy, provide bounds on the derivatives and bracket the locations of stationary points, introducing a new technique called Bethe bound propagation. Several results apply to pairwise models whether associative or not. Applying these to discretized pseudo-marginals in the associative case we present a polynomial time approximation scheme for global optimization provided the maximum degree is $O(\log n)$, and discuss several extensions.

研究の動機と目的

• 関連性のある二値2項MRFにおけるベーゼ自由エネルギーのグローバル最小値の多項式時間近似スキーム（PTAS）の開発。
• ベーゼ自由エネルギーのヘッセ行列の最大固有値に対する厳密な上限を導出し、近似保証を可能にする。
• 細かいメッシュ上での離散化マルチラベル部分和問題が、部分和性を保つことを確立し、効率的なグラフカット最適化を可能にする。
• 変分推論の適用範囲を、保証付き収束性と誤差境界を伴うベーゼ自由エネルギーのグローバル最適化へ拡張する。
• QMRのような複雑なモデルにおけるマージナル推論の近似を可能にするフレームワークの提供。

提案手法

• ベーゼ自由エネルギーの導関数の新たな定式化を導出し、その2階挙動に対する上限を確立する。
• 区間推定を繰り返し精緻化することでタイトなマージナル境界を生成する、ベーゼ境界伝播（BBP）を導入する。
• シングルトンマージナル上に解像度δの離散化メッシュを用い、真の最適解がメッシュ点からδ以内に存在することを保証する。
• 近似誤差を最大方向2階微分Λで束縛し、ヘッセ行列のトレースとスパarsity制約を用いてΛを上限付ける。
• 部分和エネルギーと最小カット／最大フローの等価性を活用し、グラフカットを用いて離散化部分和最適化問題を効率的に解く。
• パラメータの正規化を再パラメトリゼーションにより行い、最大次数Δ=O(log n)のもとで1/(η_i(1−η_i))に多項式境界を保証する。

実験結果

リサーチクエスチョン

• RQ1 関連性のある二値2項MRFにおけるベーゼ自由エネルギーのグローバル最小値に対する多項式時間近似スキームを構築できるか？
• RQ2 境界マージナル付近においても、特にベーゼ自由エネルギーのヘッセ行列の最大固有値にどのような上限を確立できるか？
• RQ3 ベーゼ境界伝播をどのように活用してマージナル推定をタイトにし、近似品質を向上させられるか？
• RQ4 どのような条件下で離散化されたベーゼ自由エネルギーが部分和性を保ち、グラフカットによる効率的最適化が可能になるか？
• RQ5 2値符号化を用いることで、マルチラベルおよび高次部分和MRFへこのアプローチを拡張できるか？

主な発見

• 本稿は、次数制約のもとで、ベーゼ自由エネルギーのヘッセ行列の最大固有値Λに対する最初の厳密な上限を確立し、ΛがO(nΩ√Σ)で有界であることを示した。
• 最大次数Δ=O(log n)のモデルでは、分散項の逆数1/(η_i(1−η_i))がモデルパラメータの指数関数で有界であり、多項式スケーラビリティを保証する。
• 提案されたPTASの最悪実行時間はO(n^6 Σ^{3/4} Ω^{3/2} ε^{-3/2})であり、弱多項式的ではあるが、Boykov-Kolmogorovのような高速な最大フロー解法のおかげで実用的に効率的である。
• 任意のメッシュ上でも離散化最適化問題が部分和性を保つため、2値符号化後のマルチラベルおよび高次モデルに対しても、グラフカットによる効率的解法が可能である。
• ベーゼ境界伝播は、単独でも顕著にタイトなマージナル境界を生成し、近似スキームを超えた実用的価値を示している。
• 本フレームワークにより、誤差が½Λδ²で有界なベーゼ自由エネルギーのグローバル最適化が可能となり、保証付きの近似保証が得られる。