[論文レビュー] DoubleField: Bridging the Neural Surface and Radiance Fields for High-fidelity Human Rendering.

Ruizhi Shao, Hongwen Zhang+4 more|arXiv (Cornell University)|Jun 7, 2021

Advanced Vision and Imaging被引用数 6

ひとこと要約

DoubleFieldは、共有特徴埋め込みとサーフェスガイドドサンプリングを用いて、人間のジオメトリとアピアランスを統合的にモデル化するニューラル表現を提案する。これにより、スパarsなマルチビュー入力から高速かつ高忠実度のフリービュー合成が可能になる。ビューツビュートランスフォーマーと転移学習を活用することで、超高解像度入力処理に対しても最先端の結果を達成する。

ABSTRACT

We introduce DoubleField, a novel representation combining the merits of both surface field and radiance field for high-fidelity human rendering. Within DoubleField, the surface field and radiance field are associated together by a shared feature embedding and a surface-guided sampling strategy. In this way, DoubleField has a continuous but disentangled learning space for geometry and appearance modeling, which supports fast training, inference, and finetuning. To achieve high-fidelity free-viewpoint rendering, DoubleField is further augmented to leverage ultra-high-resolution inputs, where a view-to-view transformer and a transfer learning scheme are introduced for more efficient learning and finetuning from sparse-view inputs at original resolutions. The efficacy of DoubleField is validated by the quantitative evaluations on several datasets and the qualitative results in a real-world sparse multi-view system, showing its superior capability for photo-realistic free-viewpoint human rendering. For code and demo video, please refer to our project page: this http URL.

研究の動機と目的

• スパースなマルチビュー入力から、写真のようにリアルな自由視点人間レンダリングを達成する課題に対処すること。
• トレーニングおよび推論の効率を向上させるために、連続的かつ分離可能なニューラル表現としてジオメトリとアピアランスのモデリングを統合すること。
• スパースなビューからの入力から、超高解像度でも高忠実度のレンダリングを実現するとともに、高速なファインチューニングを可能にすること。
• 転移学習とビューツビュートランスフォーマーを活用して、特徴伝搬を効率化することで、高密度な入力ビューの必要性を低減すること。

提案手法

• DoubleFieldは、共有特徴埋め込みを介してサーフェスフィールドとレンジエンスフィールドを統合し、ジオメトリとアピアランスの共同だが分離可能な学習を可能にする。
• サーフェスガイドドサンプリング戦略により、レンジエンスフィールドのクエリが予測されたサーフェスと空間的に整合するように保証され、幾何的整合性が向上する。
• ビューツビュートランスフォーマーを用いて、入力ビュー間で特徴を統合・伝達し、スパースな入力からの特徴学習を強化する。
• 転移学習スキームにより、元の超高解像度に再トレーニングせずに効率的なファインチューニングが可能になる。
• アーキテクチャは高速なトレーニング、推論、および適応をサポートしており、実世界のスパースマルチビューシステムに適している。

実験結果

リサーチクエスチョン

• RQ1 統合されたニューラル表現は、人間レンダリングの忠実度を維持したまま、ジオメトリとアピアランスモデリングを効果的に分離可能か？
• RQ2 サーフェスガイドドサンプリングは、新規ビュー合成の整合性と品質をどのように向上させるか？
• RQ3 ビューツビュートランスフォーマーは、スパースマルチビュー入力からの特徴学習をどの程度向上させるか？
• RQ4 転移学習により、完全な再トレーニングなしに超高解像度人間レンジエンスフィールドの効率的ファインチューニングが可能か？

主な発見

• DoubleFieldは、複数のベンチマークデータセットで優れた定量的性能を達成し、自由視点レンダリング品質において最先端の結果を示した。
• 分離可能で連続的な学習空間と効率的なサンプリング戦略のおかげで、高速なトレーニング、推論、ファインチューニングが可能である。
• ビューツビュートランスフォーマーの統合により、スパースビュー入力からの特徴伝搬とレンダリング品質が顕著に向上した。
• 転移学習により、最小限の追加トレーニングで超高解像度入力へのモデル適応が効果的に可能となった。