[論文レビュー] The Lazy Flipper: MAP Inference in Higher-Order Graphical Models by Depth-limited Exhaustive Search

Bjoern Andres, Joerg H. Kappes+2 more|arXiv (Cornell University)|Sep 21, 2010

Evolutionary Algorithms and Applications参考文献 35被引用数 4

ひとこと要約

本稿では、高次グラフィカルモデルにおけるMAP推論のための深さ制限付き全探索アルゴリズム「Lazy Flipper」を提案する。この手法は、変数の連結部分グラフを体系的に探索し、エネルギーを単調に減少させるように部分集合を反転することで、全深さに達した時点でグローバル最適解への収束を保証する。実モデルおよび合成モデルにおいて、最先端のメッセージパッシング法および劣勾配法を上回り、BPで初期化された場合、グローバル最適解からの近似誤差が0.1%未満にまで低下する。

ABSTRACT

This article presents a new search algorithm for the NP-hard problem of optimizing functions of binary variables that decompose according to a graphical model. It can be applied to models of any order and structure. The main novelty is a technique to constrain the search space based on the topology of the model. When pursued to the full search depth, the algorithm is guaranteed to converge to a global optimum, passing through a series of monotonously improving local optima that are guaranteed to be optimal within a given and increasing Hamming distance. For a search depth of 1, it specializes to Iterated Conditional Modes. Between these extremes, a useful tradeoff between approximation quality and runtime is established. Experiments on models derived from both illustrative and real problems show that approximations found with limited search depth match or improve those obtained by state-of-the-art methods based on message passing and linear programming.

研究の動機と目的

• 任意の構造および次数を持つ高次グラフィカルモデルにおけるMAP推論というNP困難問題に対処すること。
• モデルのトポロジーに基づいて探索空間を制約する、決定的で重複のない探索アルゴリズムの開発。
• 深さ制限付き探索によって、実行時間と近似品質の間の調整可能なトレードオフを確立すること。
• エネルギー差の上限をグローバル最適解から評価することで、近似解の品質保証を提供すること。

提案手法

• アルゴリズムは、初期割り当てから始まり、変数の連結部分グラフに対して深さ制限付きの全探索を実行する。
• 重複のない探索を回避するため、すべての連結部分グラフを一意かつ効率的に列挙するためのCSツリーというデータ構造を用いる。
• トポロジーに基づくプリーニング機構により、エネルギーを低下させない可能性がある部分グラフを除外する。これは、過去の失敗した反転とモデル構造に基づく。
• エネルギーを低下させる変数の部分集合を貪欲に反転し、各反転後に影響を受ける小さな部分集合を再訪問する。
• 探索深さを制御することで、近似品質と実行時間のバランスをとる。深さ1はICMに相当する。
• 潜在関数はコードを介して暗黙的に評価され、関数評価とグラフ走査の操作のみを必要とする。

実験結果

リサーチクエスチョン

• RQ1 決定的でトポロジーに配慮した探索アルゴリズムは、高次グラフィカルモデルにおいて、既存のメッセージパッシング法および劣勾配法よりも優れた近似品質を達成できるか？
• RQ2 探索深さは、MAP推論における実行時間と近似品質のトレードオフをどの程度制御できるか？
• RQ3 連結部分グラフに対する深さ制限付き全探索は、品質保証付きの単調に改善される解の列を保証できるか？
• RQ4 本アルゴリズムの性能は、実モデルおよび合成モデルにおいてICM、BP、TRBP、および双対分解法と比較してどの程度か？

主な発見

• BPによる初期化（100秒後）を前提とすると、Lazy Flipperは50,000秒後にグローバル最適解からの平均偏差を0.4%から0.1%まで低下させた。
• 本手法は、BP、TRBP、および劣勾配法を用いた双対分解法を上回る、あるいは同等の近似品質を達成した。
• 高連結性のモデルでは、CSツリーのメモリ使用量が性能を制限しており、50,000秒後に2×10⁸個の部分集合が格納された。
• 本手法は厳密に収束し、より高い探索深さは最小エネルギーに対するよりタイトな上限を保証する。
• 本手法は、不規則なグラフや高次ポテンシャルを含む任意のグラフィカルモデル構造に適用可能であり、構造的仮定を必要としない。
• 固定された探索深さにおいて、モデルサイズに比例して実行時間が概ね線形に増加する。これは、ブルートフォース探索とは異なり、変数数に対して指数関数的に増加しないことからも明らかである。