[論文レビュー] DARF: Depth-Aware Generalizable Neural Radiance Field

Yue Shi, Dingyi Rong+4 more|arXiv (Cornell University)|Dec 5, 2022

Advanced Vision and Imaging被引用数 7

ひとこと要約

本稿では、個々のシーンの最適化を必要とせず、リアルタイムの新規ビュー合成と教師なし深度推定を可能にする幾何学的注意型一般化ニューラルレンダリング場（GARF）を提案する。幾何学的注意型動的サンプリング（GADS）戦略と多段階のセマンティック一貫性損失を導入することで、最先端の手法と比較して25%以上のサンプリング点の削減を達成しながら、レンダリング品質と3次元幾何推定の両方を向上させた。

ABSTRACT

Neural Radiance Field (NeRF) has revolutionized novel-view rendering tasks and achieved impressive results. However, the inefficient sampling and per-scene optimization hinder its wide applications. Though some generalizable NeRFs have been proposed, the rendering quality is unsatisfactory due to the lack of geometry and scene uniqueness. To address these issues, we propose the Depth-Aware Generalizable Neural Radiance Field (DARF) with a Depth-Aware Dynamic Sampling (DADS) strategy to perform efficient novel view rendering and unsupervised depth estimation on unseen scenes without per-scene optimization. Distinct from most existing generalizable NeRFs, our framework infers the unseen scenes on both pixel level and geometry level with only a few input images. By introducing a pre-trained depth estimation module to derive the depth prior, narrowing down the ray sampling interval to the proximity space of the estimated surface, and sampling in expectation maximum position, we preserve scene characteristics while learning common attributes for novel-view synthesis. Moreover, we introduce a Multi-level Semantic Consistency loss (MSC) to assist with more informative representation learning. Extensive experiments on indoor and outdoor datasets show that compared with state-of-the-art generalizable NeRF methods, DARF reduces samples by 50%, while improving rendering quality and depth estimation. Our code is available on https://github.com/shiyue001/GARF.git.

研究の動機と目的

• 既存のニューラルレンダリング場が新規ビュー合成と深度推定において非効率で一般化性能が低い問題に対処すること。
• 個々のシーンの最適化を一切行わずに、わずかな入力画像のみで未学習のシーンにおいて正確なレンダリングと幾何推定を実現すること。
• 多様なシーン間で共通する特徴を学習しつつ、シーン固有の特徴を保持することで、一般化性能を向上させること。
• 幾何学的注意型動的サンプリング戦略により、サンプリングの複雑さと推論時間を低減すること。
• 多段階のセマンティック一貫性損失による特徴表現学習の強化により、レンダリングの忠実度を向上させること。

提案手法

• 教師なし深度推定を用いて推定された表面点の近傍にまでレイサンプリングを制限する幾何学的注意型動的サンプリング（GADS）戦略を導入する。
• オクルージョンを軽減し、特徴表現を向上させるために、ポイントレベルでの学習可能なマルチビュー特徴統合モジュールを採用する。
• サンプリングのガイドとして粗い幾何を導出するため、自己教師あり深度推定モジュールを備えたエンコーダ・デコーダ構造を用いる。
• 制限されたサンプリング区間内で「予測してから改善する」戦略を適用し、表面点を段階的に特定する。
• ピクセルレベルとセマンティック特徴マッチングを統合した多段階のセマンティック一貫性（MSC）損失を導入し、表現学習を向上させる。
• 標準的なNeRFスタイルのボリュームレンダリングパイプラインを用いて、統合された特徴を密度および色にデコードする。

実験結果

リサーチクエスチョン

• RQ1 一般化NeRFモデルは、個々のシーンの最適化を一切行わず、未学習のシーンにおいて高精細な新規ビュー合成と正確な深度推定を達成できるか？
• RQ2 レンダリング品質と幾何推定の維持・向上を前提に、サンプリング効率をどのように向上させられるか？
• RQ3 サンプリングプロセスに幾何学的注意を統合することで、一様または固定サンプリング戦略と比較して、性能がどの程度向上するか？
• RQ4 多段階のセマンティック一貫性損失は、特徴表現とレンダリングのリアリズムをどの程度向上させるか？
• RQ5 サンプリング点数を減らした場合、サンプリング効率とレンダリング品質のトレードオフはどのようになるか？

主な発見

• GARFは、最先端の一般化NeRF手法と比較して、25%以上のサンプリング点の削減を達成しながら、DTUおよびLLFFデータセットの両方で高いPSNRを実現した。
• DTUデータセットでは、48+48のサンプリング点でPSNR 28.80を達成し、128点を用いる手法よりもPSNRおよびSSIMの両面で優れた性能を示した。
• LLFFデータセットでは、ベースライン手法と比較して50%のサンプリング点削減と6%のPSNR向上を達成した。
• GADS戦略は、新規ビュー合成において6%以上のPSNR向上を、深度推定において平均11.5%の向上をもたらした。
• 多段階のセマンティック一貫性（MSC）損失は、エッジ部や細線領域において特に顕著に、画像のリアリズムと一貫性を向上させ、LPIPSの低減とSSIMの向上を示した。
• パラメータ解析の結果、最適な性能はサンプリング間隔Δd = 0.8で達成され、20点のサンプリングでも128点の手法と同等の画像品質を実現しており、極めて高い効率性を示した。