[論文レビュー] Consensus Message Passing for Layered Graphical Models

Varun Jampani, S. M. Ali Eslami+3 more|arXiv (Cornell University)|Oct 27, 2014

Gaussian Processes and Bayesian Inference参考文献 28被引用数 3

ひとこと要約

本稿では、コンSENSUSメッセージパッシング（CMP）という手法を紹介する。この手法は、コンテキストメッセージからグローバル変数を予測する回帰器を訓練することで、階層的グラフィカルモデル（コンピュータビジョンで一般的に用いられる）における推論精度を向上させる。これにより、メッセージパッシングがより良い解へと誘導される。CMPは、標準的な期待値法（EP）や変分メッセージパッシング（VMP）を著しく上回り、競争力のあるボトムアップモデルでさえも上回るが、計算効率を維持している。

ABSTRACT

Generative models provide a powerful framework for probabilistic reasoning. However, in many domains their use has been hampered by the practical difficulties of inference. This is particularly the case in computer vision, where models of the imaging process tend to be large, loopy and layered. For this reason bottom-up conditional models have traditionally dominated in such domains. We find that widely-used, general-purpose message passing inference algorithms such as Expectation Propagation (EP) and Variational Message Passing (VMP) fail on the simplest of vision models. With these models in mind, we introduce a modification to message passing that learns to exploit their layered structure by passing 'consensus' messages that guide inference towards good solutions. Experiments on a variety of problems show that the proposed technique leads to significantly more accurate inference results, not only when compared to standard EP and VMP, but also when compared to competitive bottom-up conditional models.

研究の動機と目的

• 一般化されたメッセージパッシングアルゴリズム（EP や VMP）が複雑な階層的ビジョンモデルで失敗する問題に対処すること。
• わずかな数の影響力のあるグローバル変数の誤った推定が原因で生じる不正確な推論の課題を克服すること。
• ビジョンモデルの階層的・層状構造を活用して、推論精度と収束性を向上させる手法を開発すること。
• 計算効率を損なわせることなく、メッセージパッシングの精度を著しく向上させること。
• 推論における主要なバリアを克服することで、コンピュータビジョンにおける完全な生成モデルの利用を可能にすること。

提案手法

• 推論の前に、下位レイヤーからのメッセージ（コンテキストメッセージ）に基づいてグローバル変数の値を予測する回帰器を訓練する。
• 訓練済みの回帰器を用いて、推論中にコンセンサスメッセージを生成し、それらをターゲット変数に送信することで、メッセージパッシングのプロセスをガイドする。
• コンセンサスメッセージを標準的なメッセージパッシングフレームワークに統合し、元のグラフィカルモデルの固定点と整合性を保つ。
• 上位の変数が下位の変数をグローバルパラメータを通して依存させる階層的・層状構造を持つモデルにこの手法を適用する。
• 特徴量が多様なビジョン問題に一般化可能であるように設計された汎用的な特徴を備えた、ランダムフォレストを回帰器のアーキテクチャとして使用する。
• コンセンサスメッセージが推論の初期段階で情報が多くなるようにし、収束を加速させるとともに精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 推論プロセスの初期段階で、鍵となるグローバル変数を学習的に推定することで、階層的グラフィカルモデルにおけるメッセージパッシング推論の精度を向上させられるか？
• RQ2 コンテキスト情報を基にしたコンセンサスメッセージを導入することで、標準的なEP や VMP と比較して収束性と精度が向上するか？
• RQ3 直感的（コンセンサス）と合理的（メッセージパッシング）な推論ステップを組み合わせたハイブリッドアプローチが、ビジョンタスクにおいて純粋なボトムアップモデルを上回るか？
• RQ4 CMP は、生成モデルにおける正確な推論に必要な反復回数をどの程度削減できるか？
• RQ5 このフレームワークは、コンピュータビジョンを越えた他の分野へどの程度一般化可能か？

主な発見

• CMP は、さまざまなビジョン問題において、標準的な期待値法（EP）や変分メッセージパッシング（VMP）よりも顕著に高い推論精度を達成している。
• CMP は、Biswas 他（2009）の手法のような競争力のあるボトムアップ条件付きモデルを、反射率推定および光の推定タスクの両方で上回っている。
• CMP は反射率推定における認識精度を向上させており、影の有無に関わらず、その向上が観察された。
• コンセンサスメッセージによる正確な初期ガイドにより、収束に必要な反復回数が減少している。
• ランダムフォレストを用いた回帰器によるコンセンサスメッセージ予測は、異なるモデル構造にわたり、頑健で一般化可能な性能を発揮している。
• CMP は計算効率を維持しながら、完全な生成モデルの利用を可能にし、ビジョン分野におけるその導入における主要な障壁を克服している。