[論文レビュー] Inference in Graphical Models via Semidefinite Programming Hierarchies

Murat A. Erdogdu, Yash Deshpande+1 more|arXiv (Cornell University)|Sep 19, 2017

Bayesian Modeling and Causal Inference参考文献 18被引用数 7

ひとこと要約

本稿では、グラフィカルモデルにおけるMAP推論のスケーラビリティを向上させるために、部分的Sum-of-Squares（SOS）階層を用いたスケーラブルな半定値計画法（SDP）アプローチを提案する。連続する領域に限定して計算コストを削減する。領域ベースのSDP緩和と非凸なBurer-Monteiro法、および逐次的ラウンディング手順を組み合わせることで、画像ノイズ除去やイジングスピンガラスといった大規模問題において最先端の性能を達成し、10,000変数のインスタンスを数分で解き、BPおよびGBPを上回る。

ABSTRACT

Maximum A posteriori Probability (MAP) inference in graphical models amounts to solving a graph-structured combinatorial optimization problem. Popular inference algorithms such as belief propagation (BP) and generalized belief propagation (GBP) are intimately related to linear programming (LP) relaxation within the Sherali-Adams hierarchy. Despite the popularity of these algorithms, it is well understood that the Sum-of-Squares (SOS) hierarchy based on semidefinite programming (SDP) can provide superior guarantees. Unfortunately, SOS relaxations for a graph with $n$ vertices require solving an SDP with $n^{Θ(d)}$ variables where $d$ is the degree in the hierarchy. In practice, for $d\ge 4$, this approach does not scale beyond a few tens of variables. In this paper, we propose binary SDP relaxations for MAP inference using the SOS hierarchy with two innovations focused on computational efficiency. Firstly, in analogy to BP and its variants, we only introduce decision variables corresponding to contiguous regions in the graphical model. Secondly, we solve the resulting SDP using a non-convex Burer-Monteiro style method, and develop a sequential rounding procedure. We demonstrate that the resulting algorithm can solve problems with tens of thousands of variables within minutes, and outperforms BP and GBP on practical problems such as image denoising and Ising spin glasses. Finally, for specific graph types, we establish a sufficient condition for the tightness of the proposed partial SOS relaxation.

研究の動機と目的

• 高次SOS階層SDP緩和のスケーラビリティの限界を解消すること。これは、$ n^{\Theta(d)} $ 個の変数を必要とし、$ d \geq 4 $ では実行不可能である。
• グラフィカルモデル内の連続的領域にのみ意思決定変数を制限することで、高次SOS緩和の計算コストを効率化する代替手法を開発すること。
• よりタイトなSDP緩和を活用しつつ、大規模問題においても実行可能であるように、信念伝播（BP）および一般化されたBP（GBP）を上回ること。
• 特定のグラフ構造において、提案された部分的SOS緩和がタイトであるための理論的条件を確立すること。

提案手法

• グラフィカルモデル内の連続的領域（例：三角形やプラケット）にのみ意思決定変数を導入することで、すべての部分集合ではなく部分的SOS緩和を提案する。
• 高コストな完全SDPソルバを回避するため、効率的なSDPを解くために非凸なBurer-Monteiro形式の因子分解を用いる。
• 緩和解を離散的MAP推定に変換するための逐次的ラウンディング手順（CLAP）を導入する。
• 部分的SOS緩和とCLAPラウンディングを組み合わせるリフトアップ手順を実装し、解の品質を向上させる。
• SOS階層の領域整合性条件（3.1）を満たすために、補助的な辺（例：グリッドにおける対角線）に重みゼロのポテンシャルを追加する。
• 解の品質と計算コストのバランスを取るために、最大次数$ d=4 $までの緩和階層を用い、PSOS(4)と呼ぶ。

実験結果

リサーチクエスチョン

• RQ1 連続的領域に基づく部分的SOS緩和は、大規模なグラフィカルモデルにおいてもスケーラブルでありながら、BPおよびGBPを上回る推論品質を達成できるか？
• RQ2 数万変数の問題にSOSベースの緩和を適用した際の計算コストは何か？非凸最適化を用いることでこれを軽減できるか？
• RQ3 提案された部分的SOS緩和がタイトである条件は何か？特定のグラフタイプにおいて正確なMAP推論を保証するための条件は？
• RQ4 画像ノイズ除去やイジングスピンガラスといった実世界の問題において、提案手法はBPおよびGBPと比較してどの程度の性能を示すか？
• RQ5 全探索が可能な小さなインスタンスにおいて、提案手法が正確または近似の良い解を得られるか？

主な発見

• 提案されたPSOS(4)手法は、10,000変数のMAP推論問題を数分で解けることが確認され、従来のSOSアプローチが数10変数に制限されていたのと比べて顕著な改善を示した。
• 画像ノイズ除去タスクにおいて、PSOS(4)は一貫して最高の目的関数値と最良の再構成品質を達成し、しばしばGBPやBPを上回った。
• 全探索が可能な16および25ノードの2次元グリッド上のイジングスピンガラスでは、PSOS(4)がすべてのインスタンスで正確なグローバル最適解に到達した。
• より大きなイジングスピンガラスインスタンス（n=100, 400, 900）における800件の実験では、PSOS(4)が全ケースで最大の目的関数値を達成し、BP、GBP、他のベースラインを上回った。
• CLAPラウンディング手順をPSOS(4)と組み合わせることで、10,000変数問題においても合理的な実行時間（約1時間）で高品質な離散解を得られるようになった。
• 特定のグラフタイプ（例：三角形領域を有する2次元グリッド）において、論文は部分的SOS緩和がタイトであるための十分条件を確立し、正確な推論を保証した。