[論文レビュー] SSDNeRF: Semantic Soft Decomposition of Neural Radiance Fields

Siddhant Ranade, Christoph Lassner+5 more|arXiv (Cornell University)|Dec 7, 2022

Advanced Vision and Imaging被引用数 5

ひとこと要約

SSDNeRFは、ニューラルレイトランスフィールド（NeRF）のセマンティックソフト分解のための新規手法を提示する。この手法により、各クラスの密度および色モデリングを用いて、レイトランスフィールドの放射輝度とセマンティック信号を同時にエンコード可能となる。NeRFのボリュームレンダリングをクラス固有の寄与とソフトブレンドに拡張することで、最先端の3次元セマンティックセグメンテーションと再構築を達成し、視点依存効果を保持した時間的に一貫性のある動画編集を可能にする。

ABSTRACT

Neural Radiance Fields (NeRFs) encode the radiance in a scene parameterized by the scene's plenoptic function. This is achieved by using an MLP together with a mapping to a higher-dimensional space, and has been proven to capture scenes with a great level of detail. Naturally, the same parameterization can be used to encode additional properties of the scene, beyond just its radiance. A particularly interesting property in this regard is the semantic decomposition of the scene. We introduce a novel technique for semantic soft decomposition of neural radiance fields (named SSDNeRF) which jointly encodes semantic signals in combination with radiance signals of a scene. Our approach provides a soft decomposition of the scene into semantic parts, enabling us to correctly encode multiple semantic classes blending along the same direction -- an impossible feat for existing methods. Not only does this lead to a detailed, 3D semantic representation of the scene, but we also show that the regularizing effects of the MLP used for encoding help to improve the semantic representation. We show state-of-the-art segmentation and reconstruction results on a dataset of common objects and demonstrate how the proposed approach can be applied for high quality temporally consistent video editing and re-compositing on a dataset of casually captured selfie videos.

研究の動機と目的

• 既存の3次元セマンティックセグメンテーション手法が、1本のレイに沿って重なったり混合されたセマンティッククラスをモデル化できないという制限を解消すること。
• 2次元セマンティックセグメンテーションマスクを、新規の視点レンダリングを可能にするボリュメトリックで微分可能表現に正確に3次元化すること。
• 放射輝度とセマンティクスの共同最適化において、MLPの正則化効果を活用することで、NeRFにおける幾何的・セマンティック的忠実度を向上させること。
• 細分化された詳細を保持したまま、自由視点セルフィービデオにおける時間的に一貫性のある動画編集および再合成を可能にすること。

提案手法

• M個のセマンティックレイヤーに対して、各クラスごとの密度σⁱおよび色cⁱをモデル化することで、古典的NeRFの定式化を拡張し、各レイに沿ったソフトブレンドを可能にする。
• 合計色がすべてのセマンティッククラスからの寄与の重み付き和となるように変更されたボリュームレンダリング式を用いる：C(r) = ∑ⱼ Tⱼ (1 - exp(-∑ᵢ σⁱⱼ δⱼ)) (∑ᵢ σⁱⱼ cⁱⱼ) / (∑ᵢ σⁱⱼ)。
• 他のクラスの密度をゼロに設定することで、各セマンティックレイヤーを独立してレンダリング可能とし、分離可能なビュー合成を実現する。
• i番目のクラスの寄与を正規化された密度重みを用いて計算するセグメンテーションマスクレンダリング関数Sⁱ(r)を導入する。
• Nerfiesに基づく可変NeRFフレームワークを採用し、カジュアルなセルフィービデオにおける非剛体運動を処理する。
• 再構築、セマンティックセグメンテーション、幾何的正則化を統合したマルチタスク損失を採用することで、耐障害性と詳細の質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルレイトランスフィールドを、3次元空間における複数の重複するクラスにわたる放射輝度とソフトセマンティックラベルを同時に最適化できるか？
• RQ2 ボリュームレンダリングを、微分可能性とレンダリングの一貫性を保ちつつ、各クラスの密度および色寄与をサポートするようにどのように拡張できるか？
• RQ3 MLPのインダクティブバイアスは、エンドツーエンドのセマンティックヘッドと比較して、NeRFにおけるセマンティック分解の質をどの程度向上させるか？
• RQ4 提案手法は、最小限のユーザーの動きを伴う、カジュアルに撮影された動画シーケンスにおいて、時間的に一貫性のある3次元編集を達成できるか？
• RQ5 SSDNeRFは、SNeRFおよび他の最先端手法と比較して、3次元セマンティックセグメンテーションの正確性および再構築品質において、どの程度優れているか？

主な発見

• SSDNeRFは、共通する物体における3次元セマンティックセグメンテーションおよび新規視点再構築において、ベンチマークデータセットで最先端のパフォーマンスを達成し、先行手法を上回っている。
• 本手法は、自由視点セルフィービデオにおいて高品質で時間的に一貫性のある動画編集および再合成を可能にし、視点依存効果および細部の保持を実現している。
• 各クラスの密度および色モデリングの使用により、1本のレイに沿って複数のセマンティッククラスのソフトブレンドが可能となり、部分的遮蔽や重なった物体の現実的なレンダリングが可能になった。
• MLPからの正則化効果により、再構築されたセマンティックレイヤーの幾何的品質が向上し、アーチファクトが減少し、境界の一貫性が向上した。
• アブレーションスタディの結果、提案された損失成分がセマンティックの正確性および再構築忠実度の両方を顕著に向上させていることが確認された。
• 本システムは、不随意の動きを伴うカジュアルで非剛体な動画キャプチャを効果的に処理でき、実世界のシナリオにおけるロバスト性を示した。