[論文レビュー] Bethe-ADMM for Tree Decomposition based Parallel MAP Inference

Qiang Fu, Huahua Wang+1 more|arXiv (Cornell University)|Sep 26, 2013

Error Correcting Code Techniques参考文献 26被引用数 16

ひとこと要約

この論文では、木分解とベッチ発散に基づく近似関数を用いた不正確なADMMを組み合わせることで、離散的グラフィカルモデルにおける並列MAP推論アルゴリズムであるBethe-ADMMを提案する。この手法により、グラフを木に分解し、和積アルゴリズムを用いて部分問題を並列に解くことで、計算効率が高くスケーラブルで、かつグローバル収束性を有する推論が可能となり、合成データおよび実世界のデータセットの両方でコア数の増加に伴いほぼ線形の高速化を達成する。

ABSTRACT

We consider the problem of maximum a posteriori (MAP) inference in discrete graphical models. We present a parallel MAP inference algorithm called Bethe-ADMM based on two ideas: tree-decomposition of the graph and the alternating direction method of multipliers (ADMM). However, unlike the standard ADMM, we use an inexact ADMM augmented with a Bethe-divergence based proximal function, which makes each subproblem in ADMM easy to solve in parallel using the sum-product algorithm. We rigorously prove global convergence of Bethe-ADMM. The proposed algorithm is extensively evaluated on both synthetic and real datasets to illustrate its effectiveness. Further, the parallel Bethe-ADMM is shown to scale almost linearly with increasing number of cores.

研究の動機と目的

• 大規模な離散的グラフィカルモデルにおけるスケーラブルで効率的な最大後確信度（MAP）推論の課題に対処すること。
• グラフィカルモデルを木構造の部分問題に分解することで、MAP推論の並列計算を可能にすること。
• ADMMにベッチ発散に基づく正則化関数を導入することで、収束性と計算効率を向上させること。
• 部分問題の解が不正確であっても、アルゴリズムのグローバル収束性を保証すること。
• 計算コア数の増加に伴い、手法の線形スケーラビリティを実証すること。

提案手法

• グラフィカルモデルを木構造の部分グラフに分割するための木分解を用い、部分問題の並列処理を可能にする。
• 部分問題間の解を調整するための不正確なADMMフレームワークを適用し、計算オーバーヘッドを低減する。
• 部分問題の更新を正則化するために、ベッチ発散に基づくプロキシマル関数を導入し、和積アルゴリズムによる効率的解法を可能にする。
• 各部分問題は、木構造モデルに対して正確な和積アルゴリズムを用いて並列に解く。
• ベッチ近似の性質とADMMの収束理論を活用することで、グローバル収束性を保証する。
• 双対勾配上昇と一貫性制約を用いて、木分解における重複変数の整合性を維持する。

実験結果

リサーチクエスチョン

• RQ1 木分解とADMMを効果的に組み合わせることで、グラフィカルモデルにおけるスケーラブルで並列なMAP推論を実現できるか？
• RQ2 ベッチ発散に基づくプロキシマル関数の導入により、ADMMに基づく推論における収束性と計算効率が向上するか？
• RQ3 提案手法Bethe-ADMMは、コア数の増加に伴い、実際のところほぼ線形のスループット向上を達成できるか？
• RQ4 実データおよび合成データセットにおいて、Bethe-ADMMは既存の推論手法と比較して解の品質と実行時間の両面で優れているか？
• RQ5 不正確な部分問題解を用いるADMMの変種において、ベッチプロキシマル関数を用いることでグローバル収束が保証されるか？

主な発見

• 不正確な部分問題解を用いてもBethe-ADMMはグローバル収束を達成する。これは顕著な理論的貢献である。
• コア数の増加に伴い、アルゴリズムはほぼ線形のスケーラビリティを示し、大規模な推論タスクにおいて優れた性能を発揮する。
• 合成データセットでは、標準的なADMMや他のベースライン手法と比較して、収束速度と解の正確性の両面でBethe-ADMMが優れている。
• 実世界のデータセットでは、並列化のおかげで実行時間を顕著に短縮しながらも、高品質なMAP推定値を維持する。
• ベッチ発散に基づくプロキシマル関数のおかげで、和積アルゴリズムを用いた部分問題の効率的解法が可能となり、これはスケーラビリティにとって不可欠である。
• 実験的結果から、木分解とプロキシマル正則化のおかげで、ループを持つグラフィカルモデルに対しても、アルゴリズムが高品質な解に収束することが確認された。