[論文レビュー] Scalable Variational Inference in Log-supermodular Models

Josip Djolonga, Andreas Krause|arXiv (Cornell University)|Feb 23, 2015

Adversarial Robustness in Machine Learning参考文献 30被引用数 11

ひとこと要約

本稿では、サブモジュラー最適化における最小ノルム点問題としてL-Field手法を再定式化することにより、対数スーパーモノトニックモデルにおけるスケーラブルな変分推論手法を提案する。これにより、効率的かつグローバルに最適な推論が可能となる。本手法は並列メッセージパッシングにおいて線形収束を示し、特に画像セグメンテーションにおける高次元ポテンシャルを伴う状況で、信念伝播法や平均場近似法を上回る精度を達成する。

ABSTRACT

We consider the problem of approximate Bayesian inference in log-supermodular models. These models encompass regular pairwise MRFs with binary variables, but allow to capture high-order interactions, which are intractable for existing approximate inference techniques such as belief propagation, mean field, and variants. We show that a recently proposed variational approach to inference in log-supermodular models -L-FIELD- reduces to the widely-studied minimum norm problem for submodular minimization. This insight allows to leverage powerful existing tools, and hence to solve the variational problem orders of magnitude more efficiently than previously possible. We then provide another natural interpretation of L-FIELD, demonstrating that it exactly minimizes a specific type of Rényi divergence measure. This insight sheds light on the nature of the variational approximations produced by L-FIELD. Furthermore, we show how to perform parallel inference as message passing in a suitable factor graph at a linear convergence rate, without having to sum up over all the configurations of the factor. Finally, we apply our approach to a challenging image segmentation task. Our experiments confirm scalability of our approach, high quality of the marginals, and the benefit of incorporating higher-order potentials.

研究の動機と目的

• 高次元相互作用を伴う対数スーパーモノトニックモデルにおけるスケーラブルな近似ベイズ推論の課題に取り組む。
• 非凸の目的関数と指数的計算量を抱える既存手法（例：信念伝播法や平均場近似）の限界を克服する。
• コンピュータビジョン分野における数十万変数を有する大規模モデルにおいても実用的な推論を可能にする。
• サブモジュラー最適化と情報発散の関係を通じて、L-Field近似の性質に関する理論的洞察を提供する。
• 境界領域におけるマージナル推定精度の向上を実現する高次元ポテンシャルの有効性を示す。

提案手法

• L-Field変分推論問題をサブモジュラー関数最小化における最小ノルム点問題に再定式化し、効率的で多項式時間のアルゴリズムの利用を可能にする。
• 最小ノルム点問題の既存ソルバを活用することで、従来のL-Field実装と比較して桁違いの高速化を達成する。
• L-Fieldが特定のRényi発散を最小化することを確立し、変分近似の品質に対する理論的裏付けを提供する。
• 分解可能対数スーパーモノトニックモデルの構造を活用して、グローバル最適解への線形収束を示す並列メッセージパッシングアルゴリズムを設計する。
• 要因のすべての状態を合算しない実装により、計算を効率化する。
• 要因グラフ表現を用いることで、収束保証付きの分散型・スケーラブルな推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 L-Field変分推論手法は、スケーラビリティを向上させるために、よく知られた最適化問題に再定式化可能か？
• RQ2 L-Field近似の理論的解釈は、情報発散の観点からどのように説明できるか？
• RQ3 現実世界の対数スーパーモノトニックモデルの構造は、強力な収束保証付きの効率的並列推論を可能にするか？
• RQ4 2次元モデルと比較して、高次元ポテンシャルを組み込むことで、画像セグメンテーションにおけるマージナル推定の精度はどのように変化するか？
• RQ5 提案手法は、マージナル品質とスケーラビリティの観点で、信念伝播法や平均場近似法を上回るか？

主な発見

• L-Field手法は最小ノルム点問題の解法と等価であり、高度に最適化されたサブモジュラー最小化アルゴリズムの利用が可能となり、顕著な高速化が達成された。
• L-Field近似は特定のRényi発散を最小化するため、その保守的な性質（偽陽性を偽陰性より好む性質）が理論的に説明できる。
• 最小ノルム構造に基づく並列メッセージパッシングアルゴリズムは、グローバル最適解への線形収束を示し、収束速度は要因グラフの構造に依存する。
• 画像セグメンテーションタスクにおいて、本手法は信念伝播法、平均場近似法、その他の変種と比較して、特に境界領域でより高いAUCスコアを達成した。
• 高次元ポテンシャルを有するモデルは2次元モデルよりもより正確なマージナルを生成するが、本手法は唯一、このようなモデルを効率的に処理できる。
• 本手法は数十万変数を有するモデルにもスケーリング可能であり、実世界のコンピュータビジョン応用における実用的妥当性を示した。