[論文レビュー] Masked Space-Time Hash Encoding for Efficient Dynamic Scene Reconstruction

Feng Wang, Zilong Chen+3 more|arXiv (Cornell University)|Oct 26, 2023

Advanced Vision and Imaging被引用数 4

ひとこと要約

本論文は、不確実性駆動の空間的・時間的ダイナミクスに基づいて、3次元ハッシュ符号化と4次元ハッシュ符号化を学習可能なマスクで動的に重み付けする、効率的な動的3次元シーン再構築のための新規手法であるMasked Space-Time Hash Encoding (MSTH)を提案する。静的領域における4次元ハッシュテーブルの冗長な照会を低減することで、わずか20分間の学習と130 MBのメモリで最先端のレンダリング品質を達成し、従来の手法に比べて速度、メモリ効率、再構築忠実度の面で顕著に優れている。

ABSTRACT

In this paper, we propose the Masked Space-Time Hash encoding (MSTH), a novel method for efficiently reconstructing dynamic 3D scenes from multi-view or monocular videos. Based on the observation that dynamic scenes often contain substantial static areas that result in redundancy in storage and computations, MSTH represents a dynamic scene as a weighted combination of a 3D hash encoding and a 4D hash encoding. The weights for the two components are represented by a learnable mask which is guided by an uncertainty-based objective to reflect the spatial and temporal importance of each 3D position. With this design, our method can reduce the hash collision rate by avoiding redundant queries and modifications on static areas, making it feasible to represent a large number of space-time voxels by hash tables with small size.Besides, without the requirements to fit the large numbers of temporally redundant features independently, our method is easier to optimize and converge rapidly with only twenty minutes of training for a 300-frame dynamic scene.As a result, MSTH obtains consistently better results than previous methods with only 20 minutes of training time and 130 MB of memory storage. Code is available at https://github.com/masked-spacetime-hashing/msth

研究の動機と目的

• 時間的冗長性に起因する4次元ハッシュ符号化の動的シーン再構築における高い計算コストとメモリ使用量を低減すること。
• 静的および動的シーン成分を分離することで、レンダリング品質と最適化効率を向上させること。
• 静的領域での更新の冗長性を回避することで、4次元表現におけるハッシュ衝突を低減すること。
• 膨大なハイパーパrameterチューニングを必要とせず、わずか20分間の学習でSOTAの結果を達成する、高速収束を実現すること。
• 新しく収集したマルチビュー動画データセットを用いて、現実的で複雑な動的シーンにおけるロバストネスを検証すること。

提案手法

• MSTHは、静的成分を処理する3次元ハッシュ符号化と、動的成分を処理する4次元ハッシュ符号化の重み付き組み合わせとして動的シーンを表現し、重みは微分可能な3次元マスクによって学習される。
• マスクは、KendallとGal (2017) のベイジアンフレームワークに由来する不確実性に基づく目的関数によって誘導される。この目的関数は、各3次元点が静的である確率の不確実性を推定する。
• 不確実性推定とマスクの相互情報量を最大化することで、低不確実性（静的）領域が主に3次元ハッシュテーブルに符号化されるように保証する。
• 静的領域における動的成分に低い重みを割り当てることで、MSTHは4次元ハッシュテーブルの衝突を低減し、冗長な特徴の保存と更新を回避する。
• 4次元ハッシュテーブルのサイズは3次元テーブルと同等に保たれ、再構築品質を損なわず、コンパクトな表現を実現する。
• マルチビューまたは単眼動画入力を用いて、視覚合成を最適化するためのラジアンスフィールド損失を用いて、エンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 学習可能なマスクを用いたハイブリッド3D+4Dハッシュ符号化は、純粋な4次元符号化と比較して、動的シーン再構築の効率性と品質を向上させることができるか？
• RQ2 不確実性推定は、静的および動的成分間の表現割り当てを動的に制御するためにどの程度効果的か？
• RQ3 MSTHは、従来の手法と比較して、著しく短い学習時間と低メモリ使用量でSOTAの性能を達成できるか？
• RQ4 大規模な静的領域と複雑な運動を示す現実的で複雑な動的シーンにおいて、本手法はどの程度の性能を示すか？
• RQ5 不確実性誘導のマスクは、ハッシュ衝突をどの程度低減し、最適化の安定性を向上させるか？

主な発見

• Google ImmersiveデータセットではPSNRが29.6、D-NeRFデータセットでは31.34を達成し、NeRFPlayer、HyperReel、HexPlaneを含むすべての先行手法を上回った。
• 同じベンチマークにおいて、MSTHは学習時間をわずか20分にまで短縮した。一方、NeRFPlayerは6時間、HyperReelは2.7時間であった。
• D-NeRFデータセットでは、追加ベースのアブレーションと比較してLPIPSが0.02改善（20%向上）し、より優れた知覚的品質を示した。
• 定性的な比較において、MSTHは顔の特徴、飛散する火花、ストライプ模様などの微細な動きの詳細を、最先端手法よりも正確に再構築した。
• 不確実性誘導のマスクにより、より明確でノイズの少ない分布が得られ、静的および動的領域の分離が向上し、ハッシュ衝突が低減した。
• 新たに収集したCampusデータセットの挑戦的なシーンにおいても、PSNRが20.9、SSIMが0.722を維持した。これは、実世界環境におけるロバストネスを示している。