[論文レビュー] NeuS2: Fast Learning of Neural Implicit Surfaces for Multi-view Reconstruction

Yiming Wang, Qin Han+4 more|arXiv (Cornell University)|Dec 10, 2022

Advanced Vision and Imaging被引用数 8

ひとこと要約

NeuS2 は従来手法と比較して神経陰性表面再構成を100倍高速化し、静的シーンでは数分未満のトレーニングを達成し、動的シーケンスでは1フレームあたり約20秒を実現する。マルチスケールハッシュ符号化と、新規で効率的な2次微分計算および段階的トレーニングを採用することで、安定した収束を伴う高精度な再構成が可能になる。

ABSTRACT

Recent methods for neural surface representation and rendering, for example NeuS, have demonstrated the remarkably high-quality reconstruction of static scenes. However, the training of NeuS takes an extremely long time (8 hours), which makes it almost impossible to apply them to dynamic scenes with thousands of frames. We propose a fast neural surface reconstruction approach, called NeuS2, which achieves two orders of magnitude improvement in terms of acceleration without compromising reconstruction quality. To accelerate the training process, we parameterize a neural surface representation by multi-resolution hash encodings and present a novel lightweight calculation of second-order derivatives tailored to our networks to leverage CUDA parallelism, achieving a factor two speed up. To further stabilize and expedite training, a progressive learning strategy is proposed to optimize multi-resolution hash encodings from coarse to fine. We extend our method for fast training of dynamic scenes, with a proposed incremental training strategy and a novel global transformation prediction component, which allow our method to handle challenging long sequences with large movements and deformations. Our experiments on various datasets demonstrate that NeuS2 significantly outperforms the state-of-the-arts in both surface reconstruction accuracy and training speed for both static and dynamic scenes. The code is available at our website: https://vcai.mpi-inf.mpg.de/projects/NeuS2/ .

研究の動機と目的

• 静的および動的シーン再構成の両方において、最先端の神経陰性表面手法（例：NeuS）が要する prohibitively long トレーニング時間（例：約8時間）を解消すること。
• 数千フレームにわたる動的シーンに神経陰性表面を実用的に応用可能とするために、1フレームあたりのトレーニング時間を大幅に短縮すること。
• ReLUベースのMLPに特化した、効率的でメモリに優しい2次微分計算を実現し、GPU上のバックプロパゲーションを高速化すること。
• 粗いスケールから細かいスケールへと段階的にマルチスケールハッシュ符号化を精錬するプログレッシブトレーニング戦略により、トレーニングの収束を安定化・加速すること。
• グローバル変換予測を用いたインクリメンタルトレーニングにより、大きな動きや変形を伴う長時間の動的シーケンスに対しても適用可能とする

提案手法

• 学習可能な特徴ベクトルを有するマルチスケールハッシュ符号化を用いて、神経SDFをパrameterizeすることで、陰性表面表現への高速で微分可能なアクセスを可能にする。
• ReLUベースのMLPにおける2次微分の閉形式で軽量な式を導出することで、最小限のメモリフットプリントで高度に最適化されたCUDAカーネル実装を可能にする。
• 粗いスケールから細かいスケールへと段階的にハッシュ符号化の特徴を初期化・精錬するプログレッシブトレーニング戦略を実装し、最適化の安定性と収束速度を向上させる。
• 前フレームの幾何と外観を事前知識として用いることで、逐次的にフレーム表現を微調整するインクリメンタルトレーニングフレームワークを提案する。
• 連続するフレームをトレーニング前に整合化するためのグローバル変換予測モジュールを導入し、遮蔽領域や極めて変形の大きい領域における誤差蓄積を軽減する。
• SDFに基づく表面制約を組み合わせた微分可能なボリュームレンダリングを活用することで、幾何的正確性と写実的な新規視点合成を保証する。

実験結果

リサーチクエスチョン

• RQ1 現代のGPU上でリアルタイムのトレーニング高速化を実現するのに十分な効率的かつ正確な神経SDFにおける2次微分の計算が可能か？
• RQ2 粗いスケールから細かいスケールへとマルチスケールハッシュ符号化を精錬するプログレッシブトレーニング戦略は、収束性および再構成品質を顕著に向上させるか？
• RQ3 グローバル変換予測を用いたインクリメンタルトレーニングは、大きなフレーム間移動を伴う長時間の動的シーケンスの学習を安定化・加速できるか？
• RQ4 静的および動的シーンの両方において、提案手法は最先端手法と比較して再構成精度とトレーニング速度の両面で優れているか？
• RQ5 効率的な2次微分計算は、異なるネットワークアーキテクチャやデータセットにわたって一般化可能か？

主な発見

• NeuS2 は元のNeuSと比較して100倍の高速化を達成し、DTUデータセットでPSNR 28.82を記録する静的シーンを6分未塔で再構成（対象：約8時間）。
• 提案された2次微分計算は、PyTorchのautogradより30%速く、有限差分ベースラインより25%速く、PSNRは35.5（対象：33.4）を達成。
• プログレッシブトレーニング戦略により、DTUにおける平均チェンバーディスタンス（CD）は1.48から0.70に低下し、再構成精度が向上し、トレーニング時間は5分に短縮された。
• グローバル変換予測とプログレッシブトレーニングの両方を有効にしたフルモデルは、PSNR 28.18、LPIPS 0.0474を達成し、幾何と外観の両面でアブレーションモデルを上回った。
• 動的シーンでは、1フレームあたり約20秒で再構成可能であり、20,000フレームのシーケンスに対しても安定的かつ詳細な結果を得られる高品質な再構成が可能になった。
• アブレーションスタディの結果、グローバル変換予測とプログレッシブトレーニングの両方が不可欠であることが確認された。両方を削除すると、局所最適解に陥り、ノイズの多い表面とぼやけたレンダリングが生じた。