[論文レビュー] Single-view to Multi-view: Reconstructing Unseen Views with a Convolutional Network

Maxim Tatarchenko, Alexey Dosovitskiy+1 more|arXiv (Cornell University)|Nov 20, 2015

Computer Graphics and Visualization Techniques参考文献 33被引用数 63

ひとこと要約

本論文では、合成3Dモデルのレンダリングから得たimplicitな3次元表現を学習することで、1枚の入力画像から未観測の新しい視点のオブジェクトを再構築する畳み込みニューラルネットワークを提案する。合成データのみで訓練されたモデルは、実世界の自然画像に対しても効果的に一般化し、色画像と深度マップの両方を生成する。これにより、1枚の画像から3次元点群やメッシュの再構築が可能となる。

ABSTRACT

We present a convolutional network capable of generating images of a previously unseen object from arbitrary viewpoints given a single image of this object. The input to the network is a single image and the desired new viewpoint; the output is a view of the object from this desired viewpoint. The network is trained on renderings of synthetic 3D models. It learns an implicit 3D representation of the object class, which allows it to transfer shape knowledge from training instances to a new object instance. Beside the color image, the network can also generate the depth map of an object from arbitrary viewpoints. This allows us to predict 3D point clouds from a single image, which can be fused into a surface mesh. We experimented with cars and chairs. Even though the network is trained on artificial data, it generalizes well to objects in natural images without any modifications.

研究の動機と目的

• マルチビューの監視なしに、未学習のオブジェクトの視点を1枚の画像から3次元視覚合成することを可能にすること。
• 合成された3Dモデルのレンダリングから、実世界のオブジェクトに一般化可能なimplicitな3次元表現を学習すること。
• 所望の視点に対して、1枚の入力画像から新しい色画像と深度マップの両方を生成すること。
• 予測された深度マップを用いて、1枚の画像から3次元点群およびメッシュの再構築を可能にすること。
• 合成データで訓練したモデルが、実際の自然画像へ零-shot一般化できるかを評価すること。

提案手法

• ネットワークは1枚の画像と目的の視点を入力とし、畳み込みアーキテクチャを用いてオブジェクトの新しいビューを予測する。
• 合成された3Dモデルのレンダリングで訓練され、視点間での形状と外観を推論する能力を学ぶ。
• 色画像とともに深度マップを同時に予測することで、3次元再構築を可能にする。
• 予測された深度マップを用いて3次元点群を生成し、それらを統合して表面メッシュを生成する。
• アーキテクチャはオブジェクトクラスのimplicitな3次元表現を学習し、新しい未学習のオブジェクトへも適用可能である。
• 実世界の画像に対しては、微調整や適応処理を一切行わず、強力なゼロショット一般化を示している。

実験結果

リサーチクエスチョン

• RQ1 合成3Dモデルのレンダリングで訓練されたCNNは、実世界のオブジェクトを1枚の画像から未学習の視点で再構築できるか？
• RQ2 1枚のビューで予測された正確な深度マップは、3次元再構築にどの程度有効に使えるか？
• RQ3 合成データから学習したimplicitな3次元表現は、実際の未学習のオブジェクトへどの程度一般化できるか？
• RQ4 予測された深度マップは、1枚の画像から3次元点群および表面メッシュを効果的に生成できるか？
• RQ5 本モデルは、車や椅子といった多様なオブジェクトカテゴリに対して自然画像に適用しても性能を維持できるか？

主な発見

• モデルは、学習中に未観測のオブジェクトであっても、任意の視点からの写真に似た質の高い新しいビューを1枚の画像から効果的に生成できる。
• 合成データでのみ学習したにもかかわらず、微調整なしに実世界の自然画像に対しても効果的に一般化している。
• 正確な深度マップが予測され、1枚の画像から3次元点群および表面メッシュの再構築が可能である。
• 合成データから学習したimplicitな3次元表現は、実世界のオブジェクト（車や椅子など）に対してもうまく一般化されている。
• マルチビューの監視や明示的な3次元監視を一切必要とせず、高品質なビュー合成と3次元再構築を達成している。
• 本手法は、合成データから実世界データへの強力なゼロショット一般化を示しており、高い転送性を示している。