[論文レビュー] Learning Object-Compositional Neural Radiance Field for Editable Scene Rendering

Bangbang Yang, Yinda Zhang+6 more|arXiv (Cornell University)|Sep 4, 2021

Computer Graphics and Visualization Techniques参考文献 34被引用数 6

ひとこと要約

本論文では、撮影された画像と粗い2Dインスタンスマスクのみを用いて、現実世界のシーンにおいて高精度な新規ビュー合成と編集可能なシーンレンダリングを可能にするオブジェクト構成型ニューラルレンダリング場を提案する。2パスワーキャパシティアーキテクチャを導入し、背景レンダリングのためのシーンブランチと、学習可能なアクティベーションコードに条件付けられたオブジェクトブランチを組み合わせ、シーンガイドドトレーニングと3Dガードマスクを用いて隠れ領域の曇りを解消し、鋭いオブジェクト境界を生成する。これにより、静的ビュー合成および動的編集の両タスクで最先端の性能を達成した。

ABSTRACT

Implicit neural rendering techniques have shown promising results for novel view synthesis. However, existing methods usually encode the entire scene as a whole, which is generally not aware of the object identity and limits the ability to the high-level editing tasks such as moving or adding furniture. In this paper, we present a novel neural scene rendering system, which learns an object-compositional neural radiance field and produces realistic rendering with editing capability for a clustered and real-world scene. Specifically, we design a novel two-pathway architecture, in which the scene branch encodes the scene geometry and appearance, and the object branch encodes each standalone object conditioned on learnable object activation codes. To survive the training in heavily cluttered scenes, we propose a scene-guided training strategy to solve the 3D space ambiguity in the occluded regions and learn sharp boundaries for each object. Extensive experiments demonstrate that our system not only achieves competitive performance for static scene novel-view synthesis, but also produces realistic rendering for object-level editing.

研究の動機と目的

• 既存のニューラルレンダリング手法がオブジェクトレベルの操作をサポートできない、複雑な現実世界の環境において、高品質で編集可能なシーンレンダリングを実現すること。
• 部分的観測からの学習が困難なオブジェクト境界を有する、隠れ領域における3次元空間の曇りを解消する課題に対処すること。
• シーンをオブジェクト構成型コンponentsに分解しつつも、現実的な外観と幾何学的形状を保持するニューラルレンダリングシステムを設計すること。
• 正確な3次元アノテーションや個別オブジェクトのトレーニングデータを一切必要とせず、ぼやけのない鋭いオブジェクトレンダリングを実現すること。

提案手法

• 2パスワーキャパシティアーキテクチャのニューラルレンダリング場：シーンブランチはグローバルな幾何学的形状と外観を符号化し、オブジェクトブランチは学習可能なオブジェクトアクティベーションコードに条件付けられて個々のオブジェクトをレンダリングする。
• バイアス付きレイサンプリングとオンライン深度予測を用いたシーンガイドドトレーニングにより、隠れ領域における3次元曇りを解消し、ネットワークが隠れ領域のオブジェクト部分を空の空間と誤認しないようにする。
• 3Dガードマスク機構により、オブジェクトボクセルの周囲に空間的境界を強制することで、オブジェクトの整合性を維持し、レンダリングの忠実度を向上させる。
• 変換されたオブジェクト（例：移動、回転、複製）をオブジェクトブランチから、背景をシーンブランチから同時にレンダリングすることで、動的シーン編集を可能にする。
• 2Dインスタンスマスクを監視信号として用い、マルチビュー一貫性がトレーニング中のオブジェクト境界のノイズ除去と精錬に寄与する。
• オブジェクトブランチに3次元ボクセル特徴を組み込むことで、局所的表現能力を向上させ、構成的レンダリング品質を改善する。

Figure 1: We propose a novel object-compositional neural radiance field that supports editable scene rendering on real-world datasets. To obtain a view with object manipulation, we jointly render the transformed objects from the conditioned object branch and the surrounding background from the scene

実験結果

リサーチクエスチョン

• RQ1 撮影された画像と粗い2Dインスタンスマスクのみを用いて、オブジェクト構成型ニューラルレンダリング場を訓練し、現実世界の複雑なシーンで編集可能なシーンレンダリングを可能にできるか？
• RQ2 隠れ領域における3次元空間の曇りを、トレーニング段階でどのように解消し、オブジェクト境界のぼやけを防ぎ、鋭いレンダリングを実現できるか？
• RQ3 どのようなアーキテクチャ設計が、統合されたフレームワーク内で高精度な静的ビュー合成と動的オブジェクトレベル編集の両方を可能にするか？
• RQ4 シーンガイドと3Dガードマスクは、部分的遮蔽下でのオブジェクトレンダリング品質をどの程度向上させるか？
• RQ5 正確な3次元アノテーションを必要とせず、ノイズの多い2Dインスタンスマスクからも、正確で滑らかなオブジェクト境界を学習できるか？

主な発見

• 提案手法は、実世界のScanNetシーンにおいて、最先端の手法と比較して標準的な新規ビュー合成指標（PSNR、SSIM、LPIPS）で競争的または優れた性能を達成した。
• シーンガイドドトレーニングと3Dガードマスクを適用した場合、ScanNet 0038における隠れオブジェクトのPSNRは34.435に達し、ベースライン設定を著しく上回った。
• ε = 0.05の3Dガードマスクが最良のレンダリング品質をもたらし、異なるε値に対しても結果が安定しており、ハイパーパrameter選択に対する感受性が低いことが示された。
• オブジェクトボクセル特徴（f_obj）の導入によりレンダリング品質が向上し、学習可能な3次元特徴がオブジェクト固有の詳細を表現する能力を向上させることを実証した。
• 粗い2Dインスタンスマスクのみを用いても、滑らかで高精度な2Dオブジェクトセグメンテーションと鋭いオブジェクトレンダリングが生成された。これは、2D監視信号から3次元構造を効果的に推論できることを示している。
• 可視化結果から、ノイズが多いかゆらついた入力マスクであっても、モデルが正確なオブジェクト境界と細部（例：いすのハンドル）を効果的に学習していることが確認された。

Figure 2: We design a two-pathway architecture for object-compositional neural radiance field. The scene branch takes the spatial coordinate $\mathbf{x}$ , the interpolated scene voxel features $\bm{f}_{scn}$ at $\mathbf{x}$ and the ray direction $\mathbf{d}$ as input, and output the color $\mathbf{