[論文レビュー] Solving Marginal MAP Problems with NP Oracles and Parity Constraints

Yexiang Xue, Zhiyuan Li+3 more|arXiv (Cornell University)|Oct 8, 2016

Bayesian Modeling and Causal Inference被引用数 5

ひとこと要約

この論文は、パリティ制約下でのNPオракルへのクエリとして、扱いにくい周辺化部分問題をエンコードすることにより、Marginal MAP問題のための新しい定数係数近似アルゴリズムであるXOR_MMAPを提案する。この手法は最適化とカウントを1つの多項式サイズの最適化に統合し、機械学習および意思決定応用において、よりタイトな境界と優れた解の品質を実現する。

ABSTRACT

Arising from many applications at the intersection of decision making and machine learning, Marginal Maximum A Posteriori (Marginal MAP) Problems unify the two main classes of inference, namely maximization (optimization) and marginal inference (counting), and are believed to have higher complexity than both of them. We propose XOR_MMAP, a novel approach to solve the Marginal MAP Problem, which represents the intractable counting subproblem with queries to NP oracles, subject to additional parity constraints. XOR_MMAP provides a constant factor approximation to the Marginal MAP Problem, by encoding it as a single optimization in polynomial size of the original problem. We evaluate our approach in several machine learning and decision making applications, and show that our approach outperforms several state-of-the-art Marginal MAP solvers.

研究の動機と目的

• Marginal MAP問題の高い複雑性に対処すること。これはNP^PP完全であり、MAPと周辺化推論の両方よりも難しい。
• 従来の手法よりも効率的に最適化と扱いにくいカウントを統合するスケーラブルな近似手法を開発すること。
• 最大化と周辺化の両方の要素を捉える、1つの多項式サイズの最適化定式化を提供すること。
• 計算負荷を増やすに従って改善される、解のタイトな上界と下界を提供すること。
• 深層ベルヌーイネットワーク、ネットワークカスケード設計、コンピュテーショナルサステナビリティを含む多様な応用において、この手法を評価すること。

提案手法

• XOR_MMAPは、Marginal MAPにおける扱いにくい和を、ランダムに生成されたXOR制約を伴う一連の最適化問題に再定式化する。
• NPオラクルを用いて、これらのパリティ制約下での解の妥当性をクエリし、制約インスタンス上のサンプリングにより、周辺化を効果的に近似する。
• この手法は、元の問題に対して多項式サイズの相対的な1つの結合最適化問題に、全MMAP問題をエンコードする。
• Ermonらの低密度パリティ符号フレームワークを活用し、真の周辺カウントに対する定数係数近似を保証する。
• XOR制約の数を増やして最適化インスタンスを解くことにより、段階的に境界を改善する。
• 最適化と周辺化の別々の処理や反復処理を回避し、1つの最適化呼び出しとして実装される。

実験結果

リサーチクエスチョン

• RQ1 パリティ制約下でのNPオラクルクエリに還元することで、扱いにくいカウント部分問題を定数係数近似できるか？
• RQ2 最適化と周辺化を1つの結合最適化に統合することで、分離されたアプローチと比較して、解の品質と計算効率がどのように向上するか？
• RQ3 実世界の応用において、SAA や Mixed Loopy Belief Propagation と比較して、XOR_MMAP はどの程度優れているか？
• RQ4 XOR_MMAP は、MMAP目的関数のタイトで、段階的に改善可能な上界と下界を提供できるか？
• RQ5 XOR_MMAP は、深層ベルヌーイネットワークを用いた画像補完やネットワークカスケード最適化のような複雑な応用において、どの程度有効か？

主な発見

• 10×10のイジングモデルでは、XOR_MMAPの真値からのlog10カウント差の中央値は0.3であったのに対し、SAAとMixed LBPは10のオーダーの差を示した。
• 深層ベイジアンネットワークを用いた画像補完タスクでは、XOR_MMAPは一貫した数字の補完を生成したが、SAAはすべての数字にわずかな点しか生成しなかった。
• ネットワークカスケードベンチマークでは、XOR_MMAPはSAAよりもあらゆる予算水準で、ターゲットノードの活性化確率を著しく高く選択した。
• 正確なAOBBソルバは、20%変数制限のインスタンスの60%でメモリ制限により失敗したが、XOR_MMAPはスケーラブルで効果的であった。
• 結合強度が異なる10個のイジングモデルのテストケースすべてにおいて、XOR_MMAPはSAAとMixed LBPを上回った。結合強度が高くなるにつれて性能差は拡大した。
• XOR_MMAPは、他の手法よりもタイトな境界を提供し、追加の計算負荷をかけることでさらなる改善が可能であった。