[論文レビュー] Layer-structured 3D Scene Inference via View Synthesis

Shubham Tulsiani, Richard Tucker+1 more|arXiv (Cornell University)|Jul 26, 2018

Advanced Vision and Imaging参考文献 27被引用数 5

ひとこと要約

本論文では、視覚合成を代理の教師タスクとして用いることで、1枚の画像から階層構造を持つ3Dシーン表現を学習ベースで推定する手法を提案する。新しい視点からレンダリングした際の予測画像と観測画像が一致するように、畳み込みニューラルネットワーク（CNN）を訓練して階層的深度画像（LDI）を予測することで、可視ピクセルを超える隠れたシーンの幾何構造とテクスチャを捉え、合成データおよび実際のKITTIデータの両方で競争力ある深度推定と向上した視覚合成を達成した。

ABSTRACT

We present an approach to infer a layer-structured 3D representation of a scene from a single input image. This allows us to infer not only the depth of the visible pixels, but also to capture the texture and depth for content in the scene that is not directly visible. We overcome the challenge posed by the lack of direct supervision by instead leveraging a more naturally available multi-view supervisory signal. Our insight is to use view synthesis as a proxy task: we enforce that our representation (inferred from a single image), when rendered from a novel perspective, matches the true observed image. We present a learning framework that operationalizes this insight using a new, differentiable novel view renderer. We provide qualitative and quantitative validation of our approach in two different settings, and demonstrate that we can learn to capture the hidden aspects of a scene.

研究の動機と目的

• 可視ピクセルを超える3Dシーン理解を可能にし、1枚の画像から隠れた幾何構造とテクスチャを推定すること。
• 直接的な3D教師信号の欠如を補うために、視覚合成を代理タスクとして用いたマルチビュー教師信号を活用すること。
• 階層的深度画像（LDI）の予測と新規視点生成をサポートする微分可能なレンダリング機構を開発すること。
• 合成データ（真値あり）と実世界の屋外シーン（KITTIデータセットを用いて）の両方で手法の有効性を検証すること。
• 学習されたLDI表現が、2.5次元表現を上回る新規視点合成と深度推定に一般化できることを示すこと。

提案手法

• 本手法は、1枚の入力画像から、各ピクセルが複数の深度レイヤーと関連する色を保持する階層的深度画像（LDI）を予測するためのCNNを用いる。
• 新規の微分可能な前方スプラッティング層により、予測されたLDIを微分可能にレンダリングし、エンドツーエンドの学習を可能にする。
• 訓練の目的関数として、予測されたLDIからレンダリングされた新規視点が、実際の観測画像と一致するよう、視覚合成損失を用いる。
• 訓練中にマルチビュー教師信号を用いる：各画像ペアに対して、一方の視点からLDIを予測し、そのLDIから他方の視点をレンダリングする。
• 校正済みカメラからのステレオ画像ペア（例：KITTI）を活用し、遮蔽領域における間接的教師信号を提供する。
• 標準的なCNN最適化を用い、レンダリング画像とターゲット画像のピクセル単位L1損失でモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 直接的な3D教師信号がなくても、1枚の画像からの3Dシーン表現が、遮蔽されたシーンコンテンツの幾何構造とテクスチャを推定できるか？
• RQ2 視覚合成が、1枚の画像からの3Dシーン推定を教師する強力な代理タスクとして機能するか？
• RQ3 階層的深度画像（LDI）表現が、2.5次元深度マップよりも新規視点への一般化性を向上させるか？
• RQ4 限られた基準基準（baseline）運動を伴う実世界の屋外シーンにおいて、モデルの性能はどの程度か？
• RQ5 建物が遮蔽物の後ろに続くものとしての構造的推論を、モデルが学習できるか？

主な発見

• 2層構造のLDIモデルは、KITTIデータセットにおいて全ピクセルで視覚合成誤差0.0581、露出ピクセルでは0.0800を達成し、1層構造モデルを上回った。
• 露出ピクセルにおける誤差が0.0800（1層モデル：0.0813）と改善されたことから、隠れた幾何構造の取り扱いが向上したことが示された。
• KITTIテストセットでは絶対相対深度誤差が0.1856を達成し、Zhouらの最先端手法（0.2079）と同等の性能を示した。
• 定性的な結果から、モデルは木の後ろの建物の継続部分など、妥当なテクスチャと深度を想起して再構築できていることが確認された。
• 合成データでは背景レイヤーが実データ（KITTI）よりも効果的に活用されており、これは基準基準の小さい動きによる視差の制限が原因と考えられる。
• 微分可能なLDIレンダラによりエンドツーエンドの学習が可能となり、明示的な3D教師信号なしで新規視点合成への一般化が可能になった。