[論文レビュー] ResFields: Residual Neural Fields for Spatiotemporal Signals

Marko Mihajlović, Sergey Prokudin+2 more|arXiv (Cornell University)|Sep 6, 2023

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

ResFieldsは、標準的な層に時間依存の残差重みを統合することで、ネットワーク幅を拡大せずに多層パーセプトロン（MLP）のモデル容量を向上させる、革新的なアーキテクチャを提案する。この手法により、動的3D再構築、動画近似、時間的符号付き距離関数の分野で性能が向上し、高速な推論と低メモリ使用量を維持しながら、挑戦的なベンチマークで最先端の結果が得られ、パラメータの増加が最小限に抑えられる。

ABSTRACT

Neural fields, a category of neural networks trained to represent high-frequency signals, have gained significant attention in recent years due to their impressive performance in modeling complex 3D data, such as signed distance (SDFs) or radiance fields (NeRFs), via a single multi-layer perceptron (MLP). However, despite the power and simplicity of representing signals with an MLP, these methods still face challenges when modeling large and complex temporal signals due to the limited capacity of MLPs. In this paper, we propose an effective approach to address this limitation by incorporating temporal residual layers into neural fields, dubbed ResFields. It is a novel class of networks specifically designed to effectively represent complex temporal signals. We conduct a comprehensive analysis of the properties of ResFields and propose a matrix factorization technique to reduce the number of trainable parameters and enhance generalization capabilities. Importantly, our formulation seamlessly integrates with existing MLP-based neural fields and consistently improves results across various challenging tasks: 2D video approximation, dynamic shape modeling via temporal SDFs, and dynamic NeRF reconstruction. Lastly, we demonstrate the practical utility of ResFields by showcasing its effectiveness in capturing dynamic 3D scenes from sparse RGBD cameras of a lightweight capture system.

研究の動機と目的

• 長時間の動画や動的3Dシーンのような複雑で高周波数の時空間信号をモデル化する際、標準的なMLPベースのニューラルフィールドのモデル容量が限られている問題に対処すること。
• ネットワークの幅や深さを増加させずにモデル容量を向上させることで、高速な推論と低メモリ使用量を維持すること。
• 分割型やメタラーニング手法とは異なり、標準的なMLPに内在する暗黙の正則化および一般化特性を維持すること。
• NeRF やSDFベースの手法を含む、既存のMLPベースのニューラルフィールドフレームワークへのシームレスな統合を可能にすること。
• 残差重みの新しい行列分解技術を用いて、過学習を低減し、一般化性能を向上させること。

提案手法

• MLP内の標準的な線形層を、時間に依存する残差層に置き換える。ここで重みは、元の重みに学習可能な残差成分を加算することでモデル化される：$\mathbf{W}_i(t) = \mathbf{W}_i + \bm{\mathcal{W}}_i(t)$。
• 時間に依存する残差重み$\bm{\mathcal{W}}_i(t)$を低ランク分解としてパラメータ化するための行列分解技術を導入し、学習パラメータ数を削減する。
• パラメータ効率を達成するための分解スキーム$\bm{\mathcal{W}}_i(t) = \mathbf{v}_i(t) \mathbf{M}_i$を採用する。ここで$\mathbf{v}_i(t) \in \mathbb{R}^{N_i \times R_i}$および$\mathbf{M}_i \in \mathbb{R}^{R_i \times M_i}$である。
• SIREN や TNeRF などの既存のニューラルフィールドフレームワークとの互換性を維持するため、ResField層をそれらのアーキテクチャに直接統合する。
• SIREN などの位置エンコーディングやスペクトルバイアス低減技術をResFieldsと併用することで、高周波数信号のモデリングをさらに向上させる。
• 標準的な最適化手法を用いて、ネットワーク全体をエンドツーエンドで訓練し、残差成分が時間経過とともにベースネットワークのモデル容量を調整するように学習させる。

Figure 2: ResField MLP Architecture.

実験結果

リサーチクエスチョン

• RQ1 残差学習が、ニューラルフィールドのMLPの重み空間に効果的に拡張可能であり、時間的信号のモデリング能力を向上させられるか？
• RQ2 提案されたResFieldアーキテクチャは、標準的なMLPが持つ暗黙の正則化および一般化特性を維持しながら、複雑な時空間タスクにおける性能を向上させられるか？
• RQ3 残差重みの行列分解が、特にデータが少ない状況下でも、パラメータ数を顕著に削減しつつ性能を劣化させないか？
• RQ4 分割型ニューラルフィールドやメタラーニング重みと比較して、ResFieldsは再構築品質、学習速度、メモリ効率の面で優れているか？
• RQ5 ResFieldsは、スパarsなRGBDカメラからの実世界の動的3Dキャプチャにおいて、性能をどの程度向上させられるか？

主な発見

• ResFieldsは、3台の時間的に同期されたRGBDカメラからの動的NeRF再構築において、PSNRおよびLPIPS指標の両面でベースライン手法を上回り、最先端の性能を達成した。
• 動画近似タスクにおいて、因子分解を適用したResFieldsは、未観測ピxlsの30％に対してPSNR 42.45を達成し、ベースラインおよび他の残差バージョンを上回った。
• 提案された行列分解により、非因子分解型ResFieldsと比較して、学習可能なパラメータ数を最大60％まで削減しつつ、一般化性能を維持または向上させた。
• 長時間にわたる複雑な時間的信号をモデル化する際でさえ、ResFieldsは高速な推論と学習速度を維持し、GPUメモリ使用量も低く抑えられた。
• 2D動画近似、時間的SDF、動的NeRFの多様なタスクにおいて一貫した性能向上が確認され、広範な適用可能性が示された。
• アブレーションスタディの結果、出力への残差や乗法的変調よりも、残差重みの変調がより効果的であり、特に非構造的残差パラメータと比較して、因子分解が一般化性能を顕著に向上させた。

Figure 3: Factorization of $\bm{\mathcal{W}}_{i}$ .