[論文レビュー] Tightening LP Relaxations for MAP using Message Passing

David Sontag, Talya Meltzer+3 more|arXiv (Cornell University)|Jun 13, 2012

Gene Regulatory Network Analysis参考文献 19被引用数 251

ひとこと要約

この論文では、高い影響力を持つクラスタを逐次選択することで、マージナルMAP推論における線形計画法（LP）緩和を反復的に強化するデュアル分解に基づくメッセージパッシングアルゴリズムを提案する。過去の解を再利用し、デュアルの改善が単調に保たれるようにすることで、標準的なLPを超えて緩和を厳しくする。この手法により、標準的なLPが失敗する、タンパク質のサイドチェーン配置やステレオマッチングといった困難な問題を効果的に解ける。

ABSTRACT

Linear Programming (LP) relaxations have become powerful tools for finding the most probable (MAP) configuration in graphical models. These relaxations can be solved efficiently using message-passing algorithms such as belief propagation and, when the relaxation is tight, provably find the MAP configuration. The standard LP relaxation is not tight enough in many real-world problems, however, and this has lead to the use of higher order cluster-based LP relaxations. The computational cost increases exponentially with the size of the clusters and limits the number and type of clusters we can use. We propose to solve the cluster selection problem monotonically in the dual LP, iteratively selecting clusters with guaranteed improvement, and quickly re-solving with the added clusters by reusing the existing solution. Our dual message-passing algorithm finds the MAP configuration in protein sidechain placement, protein design, and stereo problems, in cases where the standard LP relaxation fails.

研究の動機と目的

• 実世界の問題において、しばしばタイトでない標準的なLP緩和の限界を克服すること。
• 高次クラスタに基づくLP緩和の指数的計算コストを克服し、効率的で段階的なクラスタ選択を可能にすること。
• 過去の解を再利用することで効率を保ちながら、デュアル目的関数を単調に改善する手法を開発すること。
• 標準的なLP緩和が失敗する状況でも、MAP構成への証明可能な収束を達成すること。
• タンパク質設計やステレオマッチングなどの複雑な推論タスクにおける、よりタイトなLP緩和の実用的応用を可能にすること。

提案手法

• この手法は、デュアル分解を用いて、デュアル目的関数を最も改善するクラスタを反復的に同定・追加する。
• クラスタ選択問題をデュアルLPの部分問題として定式化することで、各追加ごとに単調な改善を保証する。
• LP緩和の以前の解を再利用することで、各クラスタ追加後の高速な再最適化を実現する。
• メッセージパッシング技術をデュアル問題に適用し、必要な更新を効率的に計算するとともに、有望なクラスタを同定する。
• クラスタベースの緩和強化とデュアル上昇を組み合わせることで、収束保証を維持しながら大規模問題にスケーリングする。
• デュアル変数の更新に基づいて動的にクラスタを選択するデュアルメッセージパッシングアルゴリズムとして実装される。

実験結果

リサーチクエスチョン

• RQ1 標準的な定式化を超えて、グラフィカルモデルにおけるMAP推論のためのLP緩和を体系的かつ強化できるか？
• RQ2 指数的計算コストを伴わずに、高影響力のクラスタを効率的に選択する方法は何か？
• RQ3 反復的緩和において、デュアルの単調性を維持するとともに、過去の解を再利用して収束を加速できるか？
• RQ4 提案手法は、標準的なLP緩和が失敗する問題において、証明可能なMAP推論を達成できるか？
• RQ5 このアプローチは、タンパク質のサイドチェーン配置やステレオマッチングといった実世界の問題に実用的に応用可能か？

主な発見

• 提案手法は、標準的なLP緩和が失敗するタンパク質のサイドチェーン配置問題においても、MAP構成を効果的に特定できた。
• 標準的なLP緩和がタイトでない場合でも、ステレオマッチングタスクにおいて最適解への収束を達成した。
• 過去の解を再利用することで、反復処理における再最適化コストを大幅に削減し、計算効率が著しく向上した。
• 反復的クラスタ選択により、デュアルの改善が単調に保たれ、よりタイトな緩和への収束が保証された。
• 計算生物学およびコンピュータビジョンのベンチマーク問題において、提案手法は標準的なLP緩和を上回る解の質を達成した。