[論文レビュー] SelfNeRF: Fast Training NeRF for Human from Monocular Self-rotating Video

Bo Peng, Jun Hu+2 more|arXiv (Cornell University)|Oct 4, 2022

Advanced Vision and Imaging被引用数 4

ひとこと要約

SelfNeRFは、表面相対のマルチスケールハッシュ符号化を活用して、訓練を約20分で高速化する、1人称視点の人体パフォーマンス用に高速で高精細な新視点合成を実現する手法を提案する。再構築された人体表面におけるK近傍点と符号付き距離を用いたフレーム間幾何的一致性を活用することで、マルチビュー入力や長時間の学習を必要とせず、自己回転動画からの高精細な結果を達成する。

ABSTRACT

In this paper, we propose SelfNeRF, an efficient neural radiance field based novel view synthesis method for human performance. Given monocular self-rotating videos of human performers, SelfNeRF can train from scratch and achieve high-fidelity results in about twenty minutes. Some recent works have utilized the neural radiance field for dynamic human reconstruction. However, most of these methods need multi-view inputs and require hours of training, making it still difficult for practical use. To address this challenging problem, we introduce a surface-relative representation based on multi-resolution hash encoding that can greatly improve the training speed and aggregate inter-frame information. Extensive experimental results on several different datasets demonstrate the effectiveness and efficiency of SelfNeRF to challenging monocular videos.

研究の動機と目的

• 単一のモノクロナル自己回転動画のみを用いて、高速かつ高精細な人体パフォーマンスの新視点合成を可能にすること。
• 従来のNeRFベースの人体再構築手法がしばしば数時間にわたる長時間の学習を要するのを克服すること。
• 従来静的シーンに限定されていたマルチスケールハッシュ符号化を、動的人体形状へと拡張するため、表面相対表現を導入すること。
• 訓練時間を数時間から20分未塔に短縮することで、非専門家ユーザーにとって実用的であるようにすること。

提案手法

• 標準人体メッシュからのK近傍点と符号付き距離を計算することで、時間的整合性を符号化する表面相対表現を構築する。
• 表面相対表現にマルチスケールハッシュ符号化を適用し、幾何的詳細を保持しながらNeRFの訓練を高速化する。
• 各レイの色と密度予測を最適化するため、光度および幾何的ガイドランス損失を用いたボリュームレンダリングを採用する。
• 事前に再構築された人体表面シーケンス（例：SelfRecon や SMPL）を用いて表現をアンカー化し、フレーム間の特徴集約を可能にする。
• KNNおよび符号付き距離を計算するための標準空間を定義することで、時間軸にわたる一貫性のある特徴学習を可能にする。
• ハッシュ符号化された表面相対特徴に条件付けられたNeRFMLPが、新視点合成のための放射度と密度を予測する。

実験結果

リサーチクエスチョン

• RQ1 マルチスケールハッシュ符号化は、モノクロナル入力からの動的人体形状に効果的に拡張可能か？ これによりNeRFの訓練が高速化されるか？
• RQ2 モノクロナル設定において、フレーム間の幾何的一致性を効率的にモデル化することで、再構築品質が向上するか？
• RQ3 表面相対表現は、標準的な頂点ベース特徴学習に比べ、訓練速度および忠実度において優れているか？
• RQ4 人体表面品質（例：SMPL と SelfRecon）が最終レンダリング品質および訓練安定性に与える影響は何か？

主な発見

• SelfNeRFは新視点合成においてPSNR 25.49、SSIM 0.873を達成し、NeuralBody や AnimatableNeRF を上回る性能を示した。
• 本手法は約20分で収束し、1時間以上を要する従来手法に比べ顕著な改善を示した。
• マルチスケールハッシュ符号化を用いることで、頂点ベース特徴最適化に比べて訓練時間が最低10倍以上短縮された。
• ポーズ推定が不安定な状況下でも、SelfRecon から得られる表面の方がSMPLに比べてより優れた結果をもたらした。これは、時間的対応の改善によるものである。
• 幾何的ガイドランス損失によりモード崩壊が抑制され、現実的な人体形状への収束が促進された。
• 正確なSMPLパラメータが与えられた場合でさえ、SelfNeRFは既存手法を上回り、そのロバスト性とスケーラビリティを示した。