[論文レビュー] Volumetric Disentanglement for 3D Scene Manipulation

Sagie Benaim, Frederik Warburg+2 more|arXiv (Cornell University)|Jun 6, 2022

Advanced Vision and Imaging被引用数 4

ひとこと要約

本論文は、ニューラルレイトランスフィールドを用いて3Dシーンの前景オブジェクトと背景を分離するボリュメトリック分離フレームワークを提案する。これにより、色、深度、3D変換を独立して操作可能となる。2Dマスク、ビュー、ポーズを用いて学習することで、照明、反射、隠蔽を保持したまま前景と背景のボリュームを分離し、オブジェクトの camouflage や inpainting、テキストベースの編集といった意味論的3D操作を、複数のビューで高い一貫性を保って可能にする。

ABSTRACT

Recently, advances in differential volumetric rendering enabled significant breakthroughs in the photo-realistic and fine-detailed reconstruction of complex 3D scenes, which is key for many virtual reality applications. However, in the context of augmented reality, one may also wish to effect semantic manipulations or augmentations of objects within a scene. To this end, we propose a volumetric framework for (i) disentangling or separating, the volumetric representation of a given foreground object from the background, and (ii) semantically manipulating the foreground object, as well as the background. Our framework takes as input a set of 2D masks specifying the desired foreground object for training views, together with the associated 2D views and poses, and produces a foreground-background disentanglement that respects the surrounding illumination, reflections, and partial occlusions, which can be applied to both training and novel views. Our method enables the separate control of pixel color and depth as well as 3D similarity transformations of both the foreground and background objects. We subsequently demonstrate the applicability of our framework on a number of downstream manipulation tasks including object camouflage, non-negative 3D object inpainting, 3D object translation, 3D object inpainting, and 3D text-based object manipulation. Full results are given in our project webpage at https://sagiebenaim.github.io/volumetric-disentanglement/

研究の動機と目的

• 拡張現実における意味論的3Dシーン操作を可能にするために、前景オブジェクトを背景から分離すること。
• 分離の過程で、照明、反射、部分的隠蔽といった複雑な視覚効果を保持すること。
• 前景および背景オブジェクトの色、深度、3D変換を独立して制御できること。
• 光学透過型ARの制約を満たす非負で深度を保持する操作を可能とすること。
• CLIPガイドド最適化を用いて、意味の一貫性を保ちながらテキストベースの3Dオブジェクト操作を可能とすること。

提案手法

• 本手法は、全シーンのニューラルレイトランスフィールドと、背景のみの別のネットワークを、2Dトレーニングビュー、ポーズ、インスタンスマスクを用いて学習する。
• 前景ボリュームはボリュメトリックな差分計算により算出される：前景 = 全シーン - 背景、空間的および放射的一致性を保持する。
• 色と密度が、それぞれのボリュームごとに別個のニューラルネットワークを用いて分離される。
• 3D変換（平行移動、回転、スケーリング）は、微分可能レンダリングを用いて、前景および背景ボリュームに対して独立して適用される。
• テキストベースの操作では、CLIP埋め込みを用いて、前景オブジェクトの形状と外観の最適化をガイドしつつ、背景の意味論的構造を保持する。
• フレームワークは新規ビューのレンダリングをサポートし、微分可能なボリュメトリックレンダリングと暗黙のシーン表現を通じて、複数のビュー間の一貫性を維持する。

Figure 1 : Volumetric disentanglement framework. We introduce a framework for the volumetric disentanglement of foreground objects as well as the background from a full scene (1). Our volumetric disentanglement can then be used for many downstream tasks of interest to designers and artists in AR app

実験結果

リサーチクエスチョン

• RQ1 微分可能なニューラルレイトランスフィールドベースのフレームワークにおいて、反射や隠蔽といった複雑な視覚効果を保持したままボリュメトリック分離を達成できるか？
• RQ2 色、深度、ポーズに関して、前景および背景オブジェクトを3D空間でどれほど独立して操作できるか？
• RQ3 光学透過型制約下において、非負の3Dインpainting やオブジェクトの camouflage に、本手法はどれほど一般化できるか？
• RQ4 テキストベースの意味論的3Dオブジェクト操作は、高い忠実性とビュー間の一貫性を保って達成できるか？
• RQ5 ノイズが多いまたは自動生成された2Dマスクに対して、本手法はどれほど頑健か？

主な発見

• 本手法は、トレーニングビューおよび新規ビューの両方で、照明、反射、部分的隠蔽を保持したまま、前景および背景ボリュームを効果的に分離した。
• フレームワークは、オブジェクトの移動、camouflage、非負のインpainting といった一貫性のある3D操作を、高い視覚的忠実度で可能にした。
• ユーザースタディの結果、テキスト操作（例：'strawberry'、'old tree'）が複数のビューにわたり意味論的に一貫しており、直感的に妥当であることが示された。
• 本手法は、市販のセグメンテーションモデルから得られるノイズの多い2Dマスクに対しても、不完全なアノテーションに頑健であることを示した。
• アブレーションスタディにより、ボリューム差分法（全シーン - 背景）が、制約が不足した最適化に苦しむ直接的な前景フィールド学習を上回ることを確認した。
• 制限事項として、光源の完全な分離が不完全であり、CLIP信号が不足するため、大規模なオブジェクトの操作に課題がある。

Figure 2 : Overview of our disentanglement framework. First, we learn a volumetric representation of the background and full scene using neural radiance fields ( Sec. 3.1 ). Second, by subtracting the full and the background volumes, we obtain a disentangled foreground volume. Third, we can then per