[論文レビュー] Inverse Graphics with Probabilistic CAD Models

Tejas D. Kulkarni, Vikash K. Mansinghka+2 more|arXiv (Cornell University)|Jul 4, 2014

Human Pose and Action Recognition参考文献 14被引用数 15

ひとこと要約

本稿では、確率的CAD（PCAD）フレームワークを提案し、変形可能な3Dメッシュおよびそのシーン内配置を確率的プログラムでモデル化することで、3Dビジョンタスクにおける近似的ベイズ推論を可能にする。ハミルトニアンモンテカルロ、メトロポリス・ハスティングスの提案、および合成データから学習された判別的データ駆動型提案を組み合わせることで、単一の自然画像からの3D人体ポーズ推定およびオブジェクト形状再構築において最先端の性能を達成する。

ABSTRACT

Recently, multiple formulations of vision problems as probabilistic inversions of generative models based on computer graphics have been proposed. However, applications to 3D perception from natural images have focused on low-dimensional latent scenes, due to challenges in both modeling and inference. Accounting for the enormous variability in 3D object shape and 2D appearance via realistic generative models seems intractable, as does inverting even simple versions of the many-to-many computations that link 3D scenes to 2D images. This paper proposes and evaluates an approach that addresses key aspects of both these challenges. We show that it is possible to solve challenging, real-world 3D vision problems by approximate inference in generative models for images based on rendering the outputs of probabilistic CAD (PCAD) programs. Our PCAD object geometry priors generate deformable 3D meshes corresponding to plausible objects and apply affine transformations to place them in a scene. Image likelihoods are based on similarity in a feature space based on standard mid-level image representations from the vision literature. Our inference algorithm integrates single-site and locally blocked Metropolis-Hastings proposals, Hamiltonian Monte Carlo and discriminative data-driven proposals learned from training data generated from our models. We apply this approach to 3D human pose estimation and object shape reconstruction from single images, achieving quantitative and qualitative performance improvements over state-of-the-art baselines.

研究の動機と目的

• 自然画像理解における複雑な3Dから2Dへのレンダリング写像の逆問題の非可解性に対処すること。
• 確率的CADプログラムとノンパラメトリック事前分布を用いて、豊かな3D形状および外観のばらつきをモデル化すること。
• 現実世界の3Dビジョンタスクにおける高次元で混合離散連続な潜在空間における、効率的かつ正確な推論を可能にすること。
• 判別的データ駆動型提案を生成モデルフレームワークに統合し、推論速度と精度を向上させること。
• 生成モデルを用いて、単一の自然画像からスケーラブルで明示的な3Dシーン認識を実現する可能性を示すこと。

提案手法

• ノンパラメトリック事前分布（例えばガウス過程など）から3Dメッシュおよびアフィン変換をサンプリングする確率的CAD（PCAD）プログラムを用いて、確率的シーン生成器を定義する。
• 3Dシーンのサンプルから中レベルの画像表現（例：エッジマップ、HOGに類似した特徴）を生成する汎用レンダリングエンジンを用い、尤度計算に活用する。
• 単一サイトおよび局所ブロッキングされたメトロポリス・ハスティングス、ハミルトニアンモンテカルロ、およびトレーニング済み検出器からの判別的提案を組み合わせたハイブリッド推論戦略を適用する。
• 合成トレーニングデータからのDPM検出されたポーズの潜在変数上でのカーネル密度推定を用いて、判別的提案を学習し、提案品質を向上させる。
• 中レベル表現空間における距離尺度を用いて、レンダリングされた特徴と実画像特徴を比較し、画像尤度を定義する。
• システム全体を生成的確率的グラフィックスプログラムとして扱い、3D認識のためのエンドツーエンドのベイズ逆問題を可能にする。

実験結果

リサーチクエスチョン

• RQ1 確率的CADプログラムは、自然画像における3D形状および外観のばらつきのスケーラブルで現実的なモデル化を可能にするか？
• RQ2 複雑な多数対多数のレンダリング写像を持つ高次元で混合離散連続な潜在空間において、効率的推論をどのように達成できるか？
• RQ3 データ駆動型の判別的提案は、生成的3Dビジョンモデルにおけるベイズ推論の速度と精度をどの程度向上できるか？
• RQ4 完全に生成的で近似的ベイズなアプローチが、3D人体ポーズ推定およびオブジェクト再構築において判別的ベースラインを上回るか？
• RQ5 明示的な3Dシーン表現と確率的推論を用いて、単一の自然画像から豊かな3Dシーン解析を実現するシステムを構築することは可能か？

主な発見

• 提案手法は、事前にオブジェクトをセグメンテーションしない条件下でも、SIRFSおよび他のSOTAベースラインに対して顕著な定量的改善を達成した。
• 合成データから学習した判別的提案は収束速度を著しく向上させ、事後分布の精度を向上させた。これは、提案ありおよびなしの100本の独立したMCMCチェインによる結果から明らかである。
• 学習済み提案を用いた推論は、より速く収束し、より高い事後尤度に到達し、複数のテストケースにおいて一貫した性能向上を示した。
• 複雑なエネルギー分布においてローカルミニマムから脱出できることを、事前分布から事後分布への段階的改善を示す推論軌道から裏付けた。
• 3Dメッシュ成分および変形に関するノンパラメトリック事前分布のおかげで、未観測のオブジェクトカテゴリや複雑な形状に対しても良好な一般化性能を示した。
• フレームワークは、単一の自然画像からの意味的に妥当な3Dメッシュと正確なポーズ推定を実現する定性的な結果をもたらした。