[論文レビュー] Optimization of Structured Mean Field Objectives

Alexandre Bouchard‐Côté, Michael I. Jordan|arXiv (Cornell University)|May 9, 2012

Advanced Multi-Objective Optimization Algorithms参考文献 15被引用数 10

ひとこと要約

この論文は、非定 tractable な無向グラフィカルモデルにおける構造的平均場推論のための新しい最適化フレームワークを提案する。v-無閉路部分グラフを活用して、効率的なブロック座標上昇を実現する。部分グラフがv-無閉路の場合、高速なアルゴリズムが使用される。そうでない場合は、推論を可能にするための補助指数型分布族が構築される。これにより、ベースライン手法に比べてスケーラビリティと正確性が著しく向上する。

ABSTRACT

In intractable, undirected graphical models, an intuitive way of creating structured mean field approximations is to select an acyclic tractable subgraph. We show that the hardness of computing the objective function and gradient of the mean field objective qualitatively depends on a simple graph property. If the tractable subgraph has this property- we call such subgraphs v-acyclic-a very fast block coordinate ascent algorithm is possible. If not, optimization is harder, but we show a new algorithm based on the construction of an auxiliary exponential family that can be used to make inference possible in this case as well. We discuss the advantages and disadvantages of each regime and compare the algorithms empirically.

研究の動機と目的

• 非定 tractable な無向グラフィカルモデルにおける構造的平均場目的関数を最適化するための計算的課題に対処すること。
• 特に、容易に最適化可能な条件、特に容易な部分グラフにおけるv-無閉路性という構造的性質に焦点を当て、効率的な最適化が可能となる条件を同定すること。
• 非v-無閉路の場合に、補助指数型分布族の構築を用いてスケーラブルな最適化アルゴリズムを開発すること。
• 構造的平均場近似におけるv-無閉路と非v-無閉路の両レジーム間の性能とトレードオフを実験的に比較すること。
• 複雑な確率的モデルにおける構造的平均場推論のスケーラビリティと正確性を向上させること。

提案手法

• 構造的平均場近似の基盤として、無閉路で容易な部分グラフを選択する。
• ブロック座標上昇を用いて目的関数と勾配を効率的に計算できる「v-無閉路部分グラフ」の概念を導入する。
• 非v-無閉路部分グラフの場合、推論と最適化を可能にするために補助指数型分布族を構築する。
• 平均場目的関数に対する座標上昇を用いた最適化を進め、補助族の十分統計量から得られる更新を行う。
• 部分グラフの構造を活用して目的関数を分解し、期待値の効率的計算を可能にする。
• 実験的評価により、異なる部分グラフ構造とモデルタイプにおける性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 容易な部分グラフにおけるどの構造的条件下で、構造的平均場目的関数の効率的最適化が可能となるか？
• RQ2 部分グラフがv-無閉路でない場合、構造的平均場近似における推論をどのようにして容易にできるか？
• RQ3 部分グラフ構造の異なるレジームにおける、計算効率と近似正確性のトレードオフは何か？
• RQ4 収束性と正確性の観点から、提案手法はベースラインの平均場および変分推論手法と比べてどのように異なるか？
• RQ5 補助指数型分布族の構築は、そうでない場合に不確実なケースにおいても最適化を有効に可能にするか？

主な発見

• 容易な部分グラフがv-無閉路である場合、期待値の計算が効率的に行えるため、提案されたブロック座標上昇アルゴリズムは顕著な高速化を達成する。
• 非v-無閉路部分グラフでは、補助指数型分布族のおかげで、直接計算が不確実な場合でも最適化が可能になる。
• 実験的結果から、特に複雑な依存関係を有するモデルにおいて、ベースライン手法と比較して競争力のある近似正確性を達成している。
• 収束速度と計算効率の観点から、v-無閉路レジームは非v-無閉路レジームを一貫して上回る。
• 高次元のポテンシャルや複雑な条件付き依存関係を有するモデルを含む、多様なモデル構造に対して、本手法は頑健性を示す。
• 補助指数型分布族の構築は、必要な十分統計量を効果的に捉えており、困難なケースにおいても正確な勾配計算を可能にする。