[論文レビュー] The Informed Sampler: A Discriminative Approach to Bayesian Inference in Computer Vision

Varun Jampani, Sebastian Nowozin+2 more|arXiv (Cornell University)|Feb 4, 2014

Generative Adversarial Networks and Image Synthesis被引用数 1

ひとこと要約

この論文は、生成モデルフレームワーク内での既存のコンピュータビジョン手法を提案分布として活用する、判別的アプローチであるInformed Samplerを提案する。マルコフ連鎖モンテカルロ（MCMC）サンプラーに判別的ヒューリスティクスを統合することにより、レンダラーエンジンを含む逆画像生成タスクにおいて、複雑な生成モデルにおける事後分布推論を顕著に改善する。

ABSTRACT

Computer vision is hard because of a large variability in lighting, shape, and texture; in addition the image signal is non-additive due to occlusion. Generative models promised to account for this variability by accurately modelling the image formation process as a function of latent variables with prior beliefs. Bayesian posterior inference could then, in principle, explain the observation. While intuitively appealing, generative models for computer vision have largely failed to deliver on that promise due to the difficulty of posterior inference. As a result the community has favoured efficient discriminative approaches. We still believe in the usefulness of generative models in computer vision, but argue that we need to leverage existing discriminative or even heuristic computer vision methods. We implement this idea in a principled way with an sampler and in careful experiments demonstrate it on challenging generative models which contain renderer programs as their components. We concentrate on the problem of inverting an existing graphics rendering engine, an approach that can be understood as Inverse Graphics. The informed sampler, using simple discriminative proposals based on existing computer vision technology, achieves significant improvements of inference.

研究の動機と目的

• 事後分布推論が不活性なため、従来の生成モデルがコンピュータビジョンで失敗する問題に対処すること。
• 判別的効率性と生成モデルの説明力の間のギャップを埋めること。
• レンダラーコンponentを含む複雑な生成モデルにおける効果的なベイズ推論を可能にすること。
• 既存のコンピュータビジョン手法を事後サンプリングにおける提案分布として使用する有効性を示すこと。
• レンダラーエンジンを含む挑戦的な逆画像生成問題において、手法の有効性を検証すること。

提案手法

• Informed Samplerは、マルコフ連鎖モンテカルロ（MCMC）フレームワーク内において、判別的コンピュータビジョン手法を提案分布として使用する。
• ヒューリスティクスまたは学習されたビジョンアルゴリズムを事前分布に適合させた提案分布として統合し、高次元の潜在空間におけるサンプリングをガイドする。
• レンダラー・プログラムによって定義される尤度を持つ確率的生成モデル内で動作する。
• 事後探索におけるランダムウォーク行動を低減することで、収束性と精度を向上させる。
• 標準MCMCが提案品質が低いため失敗するような複雑なモデルでも、事後分布推論を可能にする。
• このアプローチは、既知のレンダラーエンジンを用いて画像からシーンパラメータを推定するという目的の逆画像生成問題で評価される。

実験結果

リサーチクエスチョン

• RQ1 判別的コンピュータビジョン手法は、生成モデルにおける事後分布推論を改善するために効果的に使用できるか？
• RQ2 ヒューリスティクス提案を組み込むことで、コンピュータビジョンにおけるベイズ推論の効率性と正確性はどのように変化するか？
• RQ3 既存のビジョンアルゴリズムは、複雑な生成モデルにおけるMCMCサンプリングにおいて、どの程度効果的な提案として機能できるか？
• RQ4 Informed Samplerは、挑戦的な逆画像生成タスクにおいて、標準MCMC手法を上回る性能を示すか？
• RQ5 提案手法は、複雑なレンダラーコンponentを含む現実的な生成モデルにスケーリング可能か？

主な発見

• Informed Samplerは、複雑な生成モデルにおいて、標準MCMC手法と比較して顕著に向上した推論性能を達成する。
• 既存のコンピュータビジョン技術に基づく判別的提案分布を用いることで、収束が速くなり、より正確な事後分布推定が可能になる。
• レンダラーエンジンを含む逆画像生成タスクにおいて、推論品質に顕著な向上が見られる。
• ヒューリスティクスビジョン手法をサンプリングプロセスに統合することで、ランダムウォーク行動が低減され、潜在空間の探索が向上する。
• 提案手法は、従来の手法が提案品質が低いため失敗するモデルでも、ベイズ推論を成功に可能にする。
• 実験的結果により、生成モデルの再訓練なしに判別的事前分布を活用することで、事後分布推論が向上することが確認された。