[論文レビュー] Alternating Directions Dual Decomposition

André F. T. Martins, Mário A. T. Figueiredo+3 more|arXiv (Cornell University)|Dec 28, 2012

Machine Learning and Algorithms参考文献 79被引用数 9

ひとこと要約

この論文は、二次正則化を用いた交替方向増分乗数法（ADMM）を用いた双対分解による因子グラフにおける近似最大後確信度（MAP）推論のための新しいアルゴリズム、AD3を紹介する。部分勾配更新をADMMに基づく最適化に置き換えることで、AD3はO(1/ε)の収束速度を達成し、従来の双対分解手法よりも著しく高速である。また、二値ペアワイズおよび一階論理制約について正確な解を提供でき、一般の要因についてはローカルMAPオракルのみを用いたアクティブセット法を採用する。

ABSTRACT

We propose AD3, a new algorithm for approximate maximum a posteriori (MAP) inference on factor graphs based on the alternating directions method of multipliers. Like dual decomposition algorithms, AD3 uses worker nodes to iteratively solve local subproblems and a controller node to combine these local solutions into a global update. The key characteristic of AD3 is that each local subproblem has a quadratic regularizer, leading to a faster consensus than subgradient-based dual decomposition, both theoretically and in practice. We provide closed-form solutions for these AD3 subproblems for binary pairwise factors and factors imposing first-order logic constraints. For arbitrary factors (large or combinatorial), we introduce an active set method which requires only an oracle for computing a local MAP configuration, making AD3 applicable to a wide range of problems. Experiments on synthetic and realworld problems show that AD3 compares favorably with the state-of-the-art.

研究の動機と目的

• 大規模なMAP推論問題における部分勾配に基づく双対分解手法の収束が遅いという問題に取り組む。
• 双対分解の構造を保ちつつ収束速度を向上させた、スケーラブルでモジュラーな近似MAP推論のためのアルゴリズムを開発する。
• 組合せ的または大きな要因を含む複雑なモデルについて、ローカルMAPオーキュラのみを用いて効率的な推論を可能にする。
• 分枝限定法を統合することで、高速な近似推論と正確なMAP回復の両方をサポートするフレームワークを提供する。

提案手法

• AD3は、線形計画法MAP緩和問題の双対を解くために、交替方向増分乗数法（ADMM）を用いる。部分勾配更新の代わりに二次正則化を導入することで、より速い一致（consensus）を達成する。
• AD3の各局所的サブ問題は二次計画問題として定式化され、二値ペアワイズ要因および一階論理制約に対して閉形式解が得られる。
• 閉形式解が得られない一般の要因については、ローカルMAPオーキュラのみを用いて、結合制約を繰り返し特定するアクティブセット法を導入する。
• サブ問題をワーカーノードに分散し、正則化のためのグローバル解をコントローラーがブロードキャストすることで、モジュラリティを維持する。
• 分枝限定法手順をAD3にラップすることで、正確なMAP推論を実現する。この手順は双対分解構造を活用する。
• 増分ラグランジュ最適化に基づくため、O(1/ε)の収束速度を保証し、部分勾配法のO(1/ε²)よりも優れている。

実験結果

リサーチクエスチョン

• RQ1 ADMMに基づく双対分解は、MAP推論において部分勾配法に基づく双対分解よりも収束が速いか？
• RQ2 イジングモデルや一階論理制約といった一般的な要因タイプにおいて、AD3のサブ問題に閉形式解が得られるか？
• RQ3 一般の要因に対して、ローカルMAPオーキュラのみを必要とするアクティブセット法を設計できるか？ これにより広範な適用性が得られるか？
• RQ4 AD3は分枝限定法との統合により正確なMAP推論をサポートするか？

主な発見

• AD3はO(1/ε)の収束速度を達成し、部分勾配法に基づく双対分解のO(1/ε²)よりも著しく高速である。
• 二値ペアワイズおよび一階論理制約の要因では、AD3のサブ問題に閉形式解が得られ、メッセージパッシングや局所的MAP推論と同等の計算コストで処理できる。
• アクティブセット法により、AD3はブラックボックスのローカルMAPオーキュラのみを用いて、大きなまたは組合せ的要因を効率的に処理でき、モジュラリティとスケーラビリティを保つ。
• AD3は合成的および実世界の問題において、最先端の手法を上回り、収束速度が速く、解の品質も優れている。
• AD3は分枝限定法手順を統合することで、双対分解フレームワークを活用して正確なMAP推論に拡張可能である。