[論文レビュー] Equivariant Neural Rendering

Emilien Dupont, Miguel Ángel Bautista+5 more|arXiv (Cornell University)|Jun 13, 2020

3D Shape Modeling and Analysis参考文献 41被引用数 21

ひとこと要約

本論文は、3Dの教師信号を用いずに、3D変換における潜在表現の等変性を強制することで、2D画像からニューラルシーン表現を学習するための新規フレームワークを提案する。この手法により、1枚の画像からのリアルタイム推論とレンダリングが可能となり、合成データおよび複雑な実世界データセットの両方で競争力ある結果を達成する。テスト時におけるポーズ情報の必要性や、学習時のシーンアライメントの必要性がない。

ABSTRACT

We propose a framework for learning neural scene representations directly from images, without 3D supervision. Our key insight is that 3D structure can be imposed by ensuring that the learned representation transforms like a real 3D scene. Specifically, we introduce a loss which enforces equivariance of the scene representation with respect to 3D transformations. Our formulation allows us to infer and render scenes in real time while achieving comparable results to models requiring minutes for inference. In addition, we introduce two challenging new datasets for scene representation and neural rendering, including scenes with complex lighting and backgrounds. Through experiments, we show that our model achieves compelling results on these datasets as well as on standard ShapeNet benchmarks.

研究の動機と目的

• 明示的な3Dの教師信号やシーンアライメントを必要としないシーン表現学習フレームワークの開発を目的とする。
• トレーニング時に相対的なカメラポーズのみを用いて、1枚の画像からリアルタイムでの推論と新規ビューのレンダリングを可能とする。
• 3D変換における等変性という新しいインダクティブバイアスを導入し、強固で汎用性の高い3Dシーン表現を学習することを目的とする。
• 複雑で現実的であるがために、背景がごちゃついたり、照明が複雑なシーンを対象とした、2つの新しい挑戦的なデータセット—MugsHQと3D Mountains—を構築・公開することを目的とする。
• 等変性が、明示的な3Dの教師信号を必要とせずに、多様なシーンにわたる一般化を強化する強力なインダクティブバイアスとして機能することを示すこと

提案手法

• 3Dの視点変更とそれに対応する潜在シーン表現内の変換の間の等変性を、微分可能損失関数を用いて強制する。
• 潜在表現は空間的かつ3次元的であり、ボクセルに類似したグリッド構造を取ることで、幾何的推論と3次元に意識的な特徴学習を可能にする。
• トレーニングには、カメラポーズが付加された2D画像のみを用い、真値の3Dアノテーションや明示的教師信号は一切不要である。
• レンダリングは、ニューラルレンダラを1回の順伝播で実行することで行われ、反復的最適化を必要とせず、リアルタイム推論が可能である。
• 原則としてアーキテクチャに依存しない。等変性損失は、任意の3次元構造の潜在表現に適用可能である。
• モデルは1枚の画像からシーン表現を推論し、回転などの変換を適用することで新規ビューを生成する

実験結果

リサーチクエスチョン

• RQ1 3D変換における等変性は、3Dの教師信号を必要とせず、2D画像から3Dシーン表現を学習する強力なインダクティブバイアスとして機能するか？
• RQ2 1枚の画像から、推論時にポーズ情報が不要な状態で、リアルタイムでの推論とレンダリングが可能になるシーン表現が学習可能か？
• RQ3 背景がごちゃついたり、現実的な照明を有する複雑な実世界シーンにおいて、この手法はどの程度一般化するか？
• RQ4 トレーニング時に、異なるシーン間でシーンアライメントや共通座標系を必要としないか？
• RQ5 等変性は、非等変性ベースラインと比較して、多様な形状やテクスチャにわたる一般化をどの程度向上させるか？

主な発見

• 本モデルは、標準的なShapeNetベンチマークおよび新規のMugsHQと3D Mountainsデータセットの両方で、競争力ある新規ビュー合成性能を達成した。
• 推論とレンダリングは1回の順伝播でリアルタイムに実行可能であり、1枚の画像あたり数分の最適化を要する手法とは異なり、高速である。
• トレーニング時に相対的なカメラポーズのみに依存するため、シーンアライメントや共通座標系の必要性がなく、シーン間での一般化が可能である。
• 反射や背景のごみなど、複雑な視覚的効果を正常にレンダリングでき、現実的シーンの複雑さに対しても強靱性を示した。
• 失敗事例として、細い構造（例：マグカップのハンドル）の再構築が不十分であり、微細な幾何的詳細のモデリングに限界があることが判明した。
• シーン間での一般化において、非等変性ベースラインを上回り、視点変換下でも一貫した性能を維持した。