[論文レビュー] Lagrangian Relaxation for MAP Estimation in Graphical Models

Jason K. Johnson, Dmitry Malioutov+1 more|ArXiv.org|Sep 28, 2007

Bayesian Modeling and Causal Inference参考文献 15被引用数 73

ひとこと要約

本稿では、不変な問題をより扱いやすい拡張グラフに再定式化し、制約をラグランジュ乗数を用いて緩和することで、離散的およびガウス型グラフィカルモデルにおけるMAP推定の一般化されたラグランジュ緩和フレームワークを導入する。この方法は、双対ギャップが消える場合に最適なMAP推定値を達成し、要約変数を用いたマルチスケール緩和により収束を加速させ、双対ギャップを低減する。

ABSTRACT

We develop a general framework for MAP estimation in discrete and Gaussian graphical models using Lagrangian relaxation techniques. The key idea is to reformulate an intractable estimation problem as one defined on a more tractable graph, but subject to additional constraints. Relaxing these constraints gives a tractable dual problem, one defined by a thin graph, which is then optimized by an iterative procedure. When this iterative optimization leads to a consistent estimate, one which also satisfies the constraints, then it corresponds to an optimal MAP estimate of the original model. Otherwise there is a ``duality gap'', and we obtain a bound on the optimal solution. Thus, our approach combines convex optimization with dynamic programming techniques applicable for thin graphs. The popular tree-reweighted max-product (TRMP) method may be seen as solving a particular class of such relaxations, where the intractable graph is relaxed to a set of spanning trees. We also consider relaxations to a set of small induced subgraphs, thin subgraphs (e.g. loops), and a connected tree obtained by ``unwinding'' cycles. In addition, we propose a new class of multiscale relaxations that introduce ``summary'' variables. The potential benefits of such generalizations include: reducing or eliminating the ``duality gap'' in hard problems, reducing the number or Lagrange multipliers in the dual problem, and accelerating convergence of the iterative optimization procedure.

研究の動機と目的

• 複雑な依存関係を有する大規模グラフィカルモデルにおける正確なMAP推定の非可解性に対処する。
• 図書化ツリー法の指数的複雑性を克服するため、凸緩和フレームワークを導入する。
• ラグランジュ緩和を通じて、既存の手法（例：ツリー再重み付け最大積和（TRMP））を一般化する統一的なアプローチを開発する。
• 構造的な拡張（要約変数を用いたマルチスケール緩和を含む）により、困難な推論問題における双対ギャップを低減または除去する。
• マージナルおよび最大マージナル一致を用いた反復的双対上昇により、離散的およびガウス型モデルの両方に対して効率的な最適化を可能にする。

提案手法

• 元の非可解なグラフィカルモデルを、複製または構造的サブグラフを有する拡張グラフ上の制約付き最適化問題に再定式化する。
• 制約にラグランジュ緩和を適用し、ラグランジュ乗数上の凸双対最適化問題に変換する。
• ブロック座標降下法を用いて、反復的に双対関数を最小化し、レプリカおよびクロススケールの制約に対する乗数を更新する。
• 離散的モデルではマージナルおよび最大マージナル一致を、ガウス型モデルでは精度行列と平均パラメータを用いたモーメント一致により一貫性を強制する。
• 要約変数を追加することでマルチスケール緩和を導入し、細粒度と粗粒度の変数を結ぶ制約を設ける。
• 逆共分散行列と平均パラメータを用いて、ガウス型モデルにおけるラグランジュ乗数の閉形式更新ルールを導出する。これにより、スケール間でのモーメント一致が保証され、モデルの一貫性が維持される。

実験結果

リサーチクエスチョン

• RQ1 ラグランジュ緩和は、離散的およびガウス型グラフィカルモデルにおけるMAP推定に体系的に適用可能であり、扱いやすい推論を達成できるか？
• RQ2 戦略的なモデル拡張を通じて、MAP推定における双対ギャップをどのように低減または除去できるか？
• RQ3 要約変数を用いたマルチスケール緩和は、収束速度の向上と双対ギャップの低減に果たす役割は何か？
• RQ4 どのような状況で緩和された双対解が正確なMAP推定値をもたらし、その条件をどのように検出できるか？
• RQ5 スパニングツリー、ループ、アンワインドサイクルなどの異なるグラフ構造は、双対ギャップおよび収束行動においてどのように比較されるか？

主な発見

• 提案されたフレームワークは、スパニングツリー上でのラグランジュ緩和の特別な場合として、ツリー再重み付け最大積和（TRMP）法を一般化する。
• 双対ギャップがゼロの場合、反復的双対最適化により、元のすべての制約を満たす正確なMAP推定値が得られる。
• 最大マージナルにおける同点（tie）の発生は、非ゼロの双対ギャップを示し、さらなるモデル拡張の必要性を示唆する。
• ガウス型モデルでは、緩和が適切に定式化されている限り、タイトな境界と正確なMAP推定値が得られ、分散の有効な上界が保証される。
• マルチスケール緩和は収束を顕著に加速する——1024ノードの1次元膜モデルにおいて、マルチスケールLRはブロックガウス＝ザイデル法および単一スケールLRを上回る性能を示した。
• ガウス型モデルにおけるラグランジュ乗数の閉形式更新ルールにより、細粒度と粗粒度の変数間でのモーメント一致が保証され、モデルの一貫性が維持される。