[論文レビュー] Unsupervised Learning of 3D Structure from Images

Danilo Jimenez Rezende, S. M. Ali Eslami+4 more|arXiv (Cornell University)|Jul 3, 2016

Advanced Vision and Imaging参考文献 32被引用数 97

ひとこと要約

本論文は、微分可能レンダリングとエンドツーエンド学習を用いて、2次元画像から3次元構造を教師なしで学習する深層生成モデルを提案する。ShapeNetおよびMNIST3Dで最先端の対数尤度スコアを達成するとともに、3次元の教師なしデータが一切不要な状態で、1枚または複数枚の視点からのマルチモーダル3次元再構成を可能にする。

ABSTRACT

A key goal of computer vision is to recover the underlying 3D structure from 2D observations of the world. In this paper we learn strong deep generative models of 3D structures, and recover these structures from 3D and 2D images via probabilistic inference. We demonstrate high-quality samples and report log-likelihoods on several datasets, including ShapeNet [2], and establish the first benchmarks in the literature. We also show how these models and their inference networks can be trained end-to-end from 2D images. This demonstrates for the first time the feasibility of learning to infer 3D representations of the world in a purely unsupervised manner.

研究の動機と目的

• 2次元画像にのみ基づき、3次元アノテーションの一切ない状態で、物体の3次元表現を直接学習すること。
• 3次元再構成の不適切な性質を緩和するため、妥当な3次元構造の統計的モデルを学習すること。
• 2次元観測値から3次元構造の確率的推論を可能とし、マルチモーダル性と不確実性を捉えること。
• 2次元画像と微分可能レンダリングのみを用いて、3次元生成モデルと推論ネットワークのエンドツーエンド学習を実証すること。
• ShapeNetおよびMNIST3Dにおける3次元密度モデリングの定量的ベンチマークを確立すること。

提案手法

• DRAW やその他のノーマライジングフローにインspiredされた潜在変数モデルを用いて、ボリュメトリックグリッドおよびメッシュ上での3次元構造の深層生成モデルを学習する。
• 3次元表現を2次元画像観測値にマッピングするための微分可能ニューラルレンダラー（例：OpenGLベース）を用い、レンダリングプロセスを逆伝播可能にする。
• 観測された画像に条件づけて3次元構造を推論するための条件付き学習を採用し、再構成を最適化する。
• 3次元の教師信号を一切用いずに、2次元画像のみを用いて生成モデルと推論ネットワークをエンドツーエンドで同時に学習する。
• ボリュメトリック表現とメッシュベース表現の両方をサポートし、メッシュは頂点が中心からの固定ラインに沿って移動するように制約する。
• リアルな照明および材料相互作用をモデル化するため、市販のレンダリングエンジンを統合し、生成された2次元ビューの忠実度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 3次元の教師データが一切ない状態で、2次元画像から3次元構造を完全に教師なしで推論できるか？
• RQ2 深層生成モデルは、1枚の2次元画像から与えられた3次元構造の多様な事後分布をどの程度正確に捉えることができるか？
• RQ3 このようなモデルは、ShapeNet や MNIST3D のような標準的な3次元ベンチマークデータセットにおいて、対数尤度という指標でどの程度の性能を示すか？
• RQ4 微分可能レンダリングは、2次元画像からの3次元生成モデルのエンドツーエンド学習を可能にするか？
• RQ5 モデルは、入力画像に見えない領域を含む未学習の3次元ビューをどの程度正確に再構成できるか？これは、2次元再構成をはるかに超えた真の3次元理解を示す。

主な発見

• 本モデルは、ShapeNetおよびMNIST3Dの両方で最先端の対数尤度スコアを達成し、3次元密度モデリングの最初の定量的ベンチマークを確立した。
• 本モデルは、形状やポーズの妥当な変異を捉えることのできる、高品質で多様な3次元サンプルを生成する。
• 再構成された3次元メッシュは未学習のカメラアングルに一般化され、入力画像に見えない物体の範囲を正確に推定しており、真の3次元理解を示している。
• 本モデルは2次元画像を高忠実度で再構成でき、2次元データのみで学習したにもかかわらず、複数の2次元ビューから一貫性のある3次元表現を生成できる。
• 微分可能レンダリングによるエンドツーエンド学習により、1回の順伝播で正確な3次元推論が可能となり、モデルは3次元構造の不確実性と曖昧さを捉えている。
• 本手法は、3次元の教師信号を一切用いずに2次元画像からの3次元表現を学習できることを示し、教師なし3次元構造推論の可能性を実証した。