[論文レビュー] Unsupervised Discovery of Object Radiance Fields

Hong-Xing Yu, Leonidas Guibas+1 more|arXiv (Cornell University)|Jul 16, 2021

Generative Adversarial Networks and Image Synthesis参考文献 66被引用数 19

ひとこと要約

本論文は、単一の画像からマルチビューRGB画像のみを入力として用いて、3Dに注意を向けたオブジェクト中心のシーン表現を教師なしで学習する、オブジェクトラディアンスフィールド（uORF）の発見手法を提案する。条件付きNeRFとディープ推論ネットワークを統合し、粗いから細かい順の訓練戦略を採用することで、uORFは教師なし3Dシーン分解分野で最先端の性能を達成し、3Dシーン編集や未観測のオブジェクト配置・外観への一般化といった新たなタスクを可能にする。

ABSTRACT

We study the problem of inferring an object-centric scene representation from a single image, aiming to derive a representation that explains the image formation process, captures the scene's 3D nature, and is learned without supervision. Most existing methods on scene decomposition lack one or more of these characteristics, due to the fundamental challenge in integrating the complex 3D-to-2D image formation process into powerful inference schemes like deep networks. In this paper, we propose unsupervised discovery of Object Radiance Fields (uORF), integrating recent progresses in neural 3D scene representations and rendering with deep inference networks for unsupervised 3D scene decomposition. Trained on multi-view RGB images without annotations, uORF learns to decompose complex scenes with diverse, textured background from a single image. We show that uORF enables novel tasks, such as scene segmentation and editing in 3D, and it performs well on these tasks and on novel view synthesis on three datasets.

研究の動機と目的

• 単一の画像から、因子化され、3Dに注意を向けた、生成的で、シーン表現を教師なしで学習する手法の開発。
• 教師なしで、複雑な3Dから2Dの画像形成を深層学習と統合する課題の解決。
• 3Dアノテーションやカテゴリ固有の監視を一切必要とせず、オブジェクトと背景にシーンを分解することの実現。
• 未観測のオブジェクト配置や外観への一般化を可能にする3Dシーン編集の支援。
• 段階的な粗いから細かい訓練戦略により、ニューラルレンダリングにおける計算効率の向上。

提案手法

• uORFは、個々のオブジェクトラディアンスフィールと背景ラディアンスフィールの組み合わせとして3Dシーンをモデル化し、ニューラルインクリメント表現を用いる。
• 再構成損失をピixeL空間に適用する監視のもと、微分可能なボリュームレンダリングを用いて、推定されたラディアンスフィールから新たなビューをレンダリングする。
• 計算コストを低減しながら表現品質を向上させるために、新規の段階的な粗いから細かい訓練スケジュールを採用する。
• 複雑なシーンにおける学習を向上させるために、背景の幾何と外観を明示的に別々にモデル化する。
• 画像の忠実度と単一画像における3D推論の耐性を向上させるために、知覚的損失と敵対的損失を組み込む。
• 条件付きNeRFを活用することで、1枚の入力画像からオブジェクト固有のラディアンスフィールを分離して推論可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、3Dに注意を向けたオブジェクト中心のシーン表現を、3Dの監視なしに単一の画像から推論できるか？
• RQ2 本手法は、密に詰め込まれたシーンのような未観測の空間的配置のオブジェクトに一般化できるか？
• RQ3 訓練時に見なかった形状と色の組み合わせに対しても、モデルは一般化できるか？
• RQ4 提案された粗いから細かい訓練戦略は、計算コストと再構成品質のバランスを効果的にとれるか？
• RQ5 推定されたラディアンスフィールは、オブジェクトの再配置や背景の置き換えといった、未踏の3Dシーン編集タスクをサポートできるか？

主な発見

• uORFは、Room-Diverseデータセットにおいて3DセグメンテーションARIスコア87.4 ± 0.4を達成し、ベースラインを顕著に上回った。
• 11個の密に詰め込まれたオブジェクトを含むpacked-CLEVR-11ベンチマークでは、NV-ARIが85.0 ± 0.3を達成し、複雑な空間的配置への強力な一般化を示した。
• uORFは、訓練時に見なかった形状と色の組み合わせに対しても一般化でき、赤いシリンダーと青い球体のみを含むテストセットでARIが87.4 ± 0.4を達成し、同じ分布で訓練されたオラクルモデルと同等の性能を示した。
• アブレーションスタディの結果、再構成損失、知覚的損失、敵対的損失を組み合わせることで、最高の画像品質が得られ、LPIPSが0.1729に低下した。
• uORFは、最小限のアーティファクトで高忠実度の新規ビューを合成し、定量的・定性的な両評価でNeRF-AEやSlot Attentionを上回った。
• 明示的な背景モデリングと分離可能なラディアンスフィールのおかげで、個々のオブジェクトの移動や背景の変更といった実用的な3Dシーン編集が可能になった。