[論文レビュー] Tensor4D : Efficient Neural 4D Decomposition for High-fidelity Dynamic Reconstruction and Rendering

Ruizhi Shao, Zerong Zheng+4 more|arXiv (Cornell University)|Nov 21, 2022

Advanced Vision and Imaging被引用数 6

ひとこと要約

Tensor4Dは、動的シーンを9つのコン pactな2次元特徴平面で表現する階層的4次元テンソル分解手法を提案する。これにより、スパarsely視または単眼RGBカメラからの高精度で効率的な再構築とレンダリングが可能となる。時間に依存するボリュームを分解し、正則化を施した粗〜細の分解を適用することで、従来のNeRFベースの手法と比較して、訓練時間とメモリ使用量を削減しつつ、最先端の性能を達成する。

ABSTRACT

We present Tensor4D, an efficient yet effective approach to dynamic scene modeling. The key of our solution is an efficient 4D tensor decomposition method so that the dynamic scene can be directly represented as a 4D spatio-temporal tensor. To tackle the accompanying memory issue, we decompose the 4D tensor hierarchically by projecting it first into three time-aware volumes and then nine compact feature planes. In this way, spatial information over time can be simultaneously captured in a compact and memory-efficient manner. When applying Tensor4D for dynamic scene reconstruction and rendering, we further factorize the 4D fields to different scales in the sense that structural motions and dynamic detailed changes can be learned from coarse to fine. The effectiveness of our method is validated on both synthetic and real-world scenes. Extensive experiments show that our method is able to achieve high-quality dynamic reconstruction and rendering from sparse-view camera rigs or even a monocular camera. The code and dataset will be released at https://liuyebin.com/tensor4d/tensor4d.html.

研究の動機と目的

• 動的シーンの4次元ニューラルレイトランスフィールドを学習する際の高い計算コストとメモリ使用量を低減すること。
• スパarsely視または単眼カメラ設定下でも高品質な再構築とレンダリングを可能にすること。
• 高価なMLPに依存せずに、複雑な動きと微細なディテールを捉えるメモリ効率の良い表現を開発すること。
• 構造的および詳細な動き成分を段階的に学習可能な階層的分解を導入すること。
• 限られた観測下で暗黙の正則化として機能するコン pactで明示的な表現を提供すること。

提案手法

• 4次元時空間テンソルを3つの時間に依存する3次元ボリュームに分解し、それぞれがさらに3つの2次元特徴平面に分解され、合計9つの2次元平面で4次元表現をコン pact に実現する。
• EG3Dの三重投影概念を4次元に拡張し、4次元フィールドを3つの直交する時間に依存するボリュームに投影することで、時空間的一致性を保持する。
• スケールごとに分解する階層的分解戦略を適用し、粗い動きと微細なディテールを段階的に学習する。
• 明示的な4次元テンソル因子分解と、TVベースの滑らかさなどの正則化項を統合することで、スパarsely視下でのロバストネスを向上させる。
• マルチビューおよび単眼再構築の両方に対応するため、NeRF-T（時間条件付きレイトランスフィールド）およびD-NeRF（キャノニカル＋動きフィールド）フレームワークに適用する。
• 訓練損失には、フォトメトリック、深度、幾何学的滑らかさの項を含め、レンダリング品質の向上とアーティファクトの低減を図る。

実験結果

リサーチクエスチョン

• RQ1 明示的な特徴平面を用いた階層的4次元テンソル分解は、メモリと訓練コストを削減しつつ、高精度な動的シーン再構築を達成できるか？
• RQ2 スパarsely視または単眼入力下でも、指の動きや衣類のしわといった微細なディテールをどれほど効果的に保持できるか？
• RQ3 粗〜細の分解と正則化は、標準的なNeRFベースの手法と比較して、再構築品質をどの程度向上させるか？
• RQ4 限られたカメラ視点や深度センサーなしの実世界シーンに対しても一般化可能か？
• RQ5 提案手法のメモリ使用量と訓練効率は、既存の4次元NeRFベースラインと比較してどの程度優れているか？

主な発見

• Tensor4Dは、合成データセットおよび実世界データセットの両方で、指の動き、顔の表情、衣類のしわといった微細なディテールの回復が優れており、最先端の新視点合成品質を達成している。
• 単眼の合成データセットにおいて、PSNR や LPIPS などの定量的指標および定性的な結果において、SOTAベースラインを上回り、アーティファクトが少ない。
• 4台のカメラでスパarsely視設定下でも、高いレンダリング品質と時間的一致性を維持しており、NeRF-T、D-NeRF、NeuS-Tを上回るPSNRおよびLPIPSを達成している。
• 元のNeRF-T や D-NeRF と比較して、訓練時間が顕著に短縮されており、解像度を高く（512³ 対 256³）したにもかかわらず、TiNeuVox よりもメモリ使用量が低い。
• アブレーションスタディにより、正則化と階層的分解が不可欠であることが確認された。それらを除去すると性能が低下し、6平面分解は提案された9平面方式に比べて劣っている。
• 本手法により、単眼入力からの高品質な再構築が可能であることが示され、低コストでポータブルなトランスミッションシステムの実現可能性を示している。