[논문 리뷰] ResFields: Residual Neural Fields for Spatiotemporal Signals

Marko Mihajlović, Sergey Prokudin외 2명|arXiv (Cornell University)|2023. 09. 06.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

ResFields는 표준 레이어에 시간에 따라 변하는 잔차 가중치를 통합함으로써 다층 퍼셉트론(MLP)의 성능을 향상시켜, 네트워크 너비를 늘리지 않고도 모델 용량을 증가시키는 새로운 아키텍처를 제안한다. 이 방법은 동적 3D 재구성, 영상 근사, 시간적 서피스 거리 필드 등에서 빠른 추론과 낮은 메모리 사용을 유지하면서도 최고 성능을 달성하며, 최소한의 파라미터 증가로 도전적인 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Neural fields, a category of neural networks trained to represent high-frequency signals, have gained significant attention in recent years due to their impressive performance in modeling complex 3D data, such as signed distance (SDFs) or radiance fields (NeRFs), via a single multi-layer perceptron (MLP). However, despite the power and simplicity of representing signals with an MLP, these methods still face challenges when modeling large and complex temporal signals due to the limited capacity of MLPs. In this paper, we propose an effective approach to address this limitation by incorporating temporal residual layers into neural fields, dubbed ResFields. It is a novel class of networks specifically designed to effectively represent complex temporal signals. We conduct a comprehensive analysis of the properties of ResFields and propose a matrix factorization technique to reduce the number of trainable parameters and enhance generalization capabilities. Importantly, our formulation seamlessly integrates with existing MLP-based neural fields and consistently improves results across various challenging tasks: 2D video approximation, dynamic shape modeling via temporal SDFs, and dynamic NeRF reconstruction. Lastly, we demonstrate the practical utility of ResFields by showcasing its effectiveness in capturing dynamic 3D scenes from sparse RGBD cameras of a lightweight capture system.

연구 동기 및 목표

• 긴 영상이나 동적 3D 시나리오와 같은 복잡한 고주파 스펙트로템포럴 신호를 모델링하는 데에 표준 MLP 기반 신경 필드의 제한된 용량을 해결하기 위해.
• 네트워크 너비나 깊이를 늘리지 않고도 모델 용량을 향상시키면서도 빠른 추론과 낮은 메모리 사용을 유지하기 위해.
• 분할 또는 메타학습 기반 접근 방식과 달리 표준 MLP에 내재된 암묵적 정규화 및 일반화 성질을 유지하기 위해.
• NeRF 및 SDF 기반 방법을 포함한 기존 MLP 기반 신경 필드 프레임워크와의 원활한 통합을 가능하게 하기 위해.
• 잔차 가중치에 대한 새로운 행렬 분해 기법을 통해 과적합을 줄이고 일반화 성능을 향상시키기 위해.

제안 방법

• 표준 선형 레이어를 시간에 따라 변하는 잔차 레이어로 대체하여, 가중치가 원래 가중치에 학습 가능한 잔차 성분을 더해진 형태로 모델링한다: $\mathbf{W}_i(t) = \mathbf{W}_i + \bm{\mathcal{W}}_i(t)$.
• 시간에 따라 변하는 잔차 가중치 $\bm{\mathcal{W}}_i(t)$를 저랭크 분해 형태로 파arameterize하기 위해 행렬 분해 기법을 도입하여 학습 가능한 파라미터 수를 감소시킨다.
• 파라미터 효율성을 달성하기 위해 $\bm{\mathcal{W}}_i(t) = \mathbf{v}_i(t) \mathbf{M}_i$ 형태의 분해 체계를 사용하며, $\mathbf{v}_i(t) \in \mathbb{R}^{N_i \times R_i}$ 및 $\mathbf{M}_i \in \mathbb{R}^{R_i \times M_i}$이다.
• SIREN 및 TNeRF와 같은 기존 신경 필드 프레임워크와의 호환성을 유지하기 위해 ResField 레이어를 그들의 아키텍처에 직접 통합한다.
• 고주파 신호의 모델링을 향상시키기 위해 ResFields와 함께 위치 인코딩 및 스펙트럼 편향 보정 기법(예: SIREN)을 적용한다.
• 기본 네트워크의 용량을 시간에 따라 조절하는 잔차 성분이 학습되도록 표준 최적화 방법을 사용해 전체 네트워크를 엔드 투 엔드로 훈련시킨다.

Figure 2: ResField MLP Architecture.

실험 결과

연구 질문

• RQ1 잔차 학습이 신경 필드의 MLP 가중치 공간에 효과적으로 확장되어 시간 신호의 모델링 용량을 증가시킬 수 있는가?
• RQ2 제안된 ResField 아키텍처는 복잡한 스펙트로템포럴 작업에서 성능을 향상시키는 동시에 표준 MLP의 암묵적 정규화 및 일반화 성질을 유지하는가?
• RQ3 잔차 가중치의 행렬 분해가 성능 저하 없이 파라미터 수를 크게 줄일 수 있는가, 특히 데이터가 적은 환경에서?
• RQ4 분할 신경 필드나 메타학습 기반 가중치와 비교했을 때 ResFields는 재구성 품질, 훈련 속도, 메모리 효율성 측면에서 어떻게 성능을 냈는가?
• RQ5 ResFields는 희소 RGBD 카메라에서의 실제 동적 3D 캡처 작업에서 성능을 얼마나 향상시킬 수 있는가?

주요 결과

• 세 대의 시간에 동기화된 RGBD 카메라에서의 동적 NeRF 재구성 작업에서 ResFields는 PSNR 및 LPIPS 지표에서 베이스라인 방법들을 능가하는 최고 성능을 달성한다.
• 영상 근사 작업에서 인코딩 기반 ResFields는 미리보지 않은 픽셀의 30%에서 PSNR 42.45를 기록하여 베이스라인 및 다른 잔차 변종보다 뛰어난 성능을 보였다.
• 제안된 행렬 분해 기법은 비분해된 ResFields 대비 학습 가능한 파라미터 수를 최대 60% 감소시키면서도 일반화 성능을 유지하거나 향상시켰다.
• 긴 복잡한 시간 신호를 모델링할 때도 ResFields는 빠른 추론 및 훈련 속도를 유지하며 GPU 메모리 사용량이 낮게 유지되었다.
• 2D 영상 근사, 시간적 SDF, 동적 NeRF 등 다양한 작업에서 일관된 성능 향상을 보이며 광범위한 적용 가능성을 입증했다.
• 절단 실험을 통해 잔차 가중치 조절이 잔차 출력이나 곱셈 조절보다 더 효과적이며, 분해 기법이 비정형 잔차 파라미터에 비해 일반화 성능을 크게 향상시킨다는 것이 확인되었다.

Figure 3: Factorization of $\bm{\mathcal{W}}_{i}$ .