[논문 리뷰] Factor Fields: A Unified Framework for Neural Fields and Beyond

Anpei Chen, Zexiang Xu외 4명|arXiv (Cornell University)|2023. 02. 02.

Optical measurement and interference techniques인용 수 16

한 줄 요약

Factor Fields는 신경 필드 표현을 여러 좌표 변환 요소와 투영으로 신호를 분해하여 통합하고, Dictionary Field (DiF)와 같은 새로운 모델을 가능하게 합니다. DiF는 정확도, 컴팩트함, 학습 속도를 향상시키고 신호 간 일반화도 지원합니다.

ABSTRACT

We present Factor Fields, a novel framework for modeling and representing signals. Factor Fields decomposes a signal into a product of factors, each represented by a classical or neural field representation which operates on transformed input coordinates. This decomposition results in a unified framework that accommodates several recent signal representations including NeRF, Plenoxels, EG3D, Instant-NGP, and TensoRF. Additionally, our framework allows for the creation of powerful new signal representations, such as the "Dictionary Field" (DiF) which is a second contribution of this paper. Our experiments show that DiF leads to improvements in approximation quality, compactness, and training time when compared to previous fast reconstruction methods. Experimentally, our representation achieves better image approximation quality on 2D image regression tasks, higher geometric quality when reconstructing 3D signed distance fields, and higher compactness for radiance field reconstruction tasks. Furthermore, DiF enables generalization to unseen images/3D scenes by sharing bases across signals during training which greatly benefits use cases such as image regression from sparse observations and few-shot radiance field reconstruction.

연구 동기 및 목표

• 다차원 신호의 신경 필드 표현에 대한 통일된 수학적 프레임워크를 제시한다.
• Factor Fields 내에서 두 요소 분해(전역 기저 + 로컬 계수)로 Dictionary Field (DiF)를 도입한다.
• 다중 신호 간 기저를 공유하면 일반화가 개선되고 few-shot 재구성을 가능하게 한다.
• DiF가 기존의 빠른 재구성 방법들보다 더 나은 정확도, 컴팩트함, 학습 효율을 달성함을 보여준다.

제안 방법

• Factor Fields를 제안한다: 신호를 N개의 팩터 필드로 분해하고, 각 f_i는 고유의 좌표 변환 γ_i를 가지며, 이를 곱으로 만들어 P를 통해 대상 신호에 매핑된다.
• DiF를 계수 필드 c(x)와 기저 필드 b(x)를 갖는 두-팩터 인스턴스로 표현하고, Eq. (3)을 사용하여 Hadamard 곱을 P를 통해 매핑한다.
• 팩터의 표현(다항식, MLP, 격자, 벡터)과 좌표 변환(sinusoidal, sawtooth, hashing, orthogonal)을 다양하게 허용하여 다중 스케일 콘텐츠를 포착한다.
• 여러 주파수(PR)에서 변환된 좌표를 연결하여 다중 스케일 기저 표현을 포함하고, 학습 가능한 투영 P(선형 또는 얕은 MLP)를 사용한다.
• 선택적 간접 관찰(예: 복사광 필드 렌더링)은 Eq. (6) 및 표준 광선 적분에 따라 부피 렌더링을 포함하도록 P를 확장하여 처리한다.
• 좌표를 정규화하기 위해 공간 수축(space contraction)을 적용하고, 특성에 대해 드롭아웃과 유사한 희소성 정규화를 사용하여 확률적 경사 하강법으로 학습한다.

Figure 4 : 2D Image Regression. This figure shows images represented using our DiF-Grid model. The respective image resolutions and numbers of model parameters are shown below each image. Moreover, we also report a comparison to Instant-NGP (first number) in terms of optimization time and PSNR metri

실험 결과

연구 질문

• RQ1 Factor Fields가 단일 프레임워크 하에 기존의 신경 필드 표현들(예: NeRF, Instant-NGP, TensoRF)을 재현하고 통합할 수 있는가?
• RQ2 Dictionary Field (DiF)가 2D 및 3D 작업 전반에서 기존 방법들에 비해 더 나은 정확도, 컴팩트함, 학습 효율성을 제공하는가?
• RQ3 다중 신호 간 기저를 공유하는 것이 미확인 이미지나 3D 장면에 대한 일반화를 가능하게 하는가, 특히 few-shot 또는 희소 관찰 시나리오에서?
• RQ4 요인(factors), 좌표 변환, 및 투영의 선택이 재구성 작업 전반의 성능과 효율성에 어떤 영향을 미치는가?

주요 결과

• DiF는 이전의 빠른 재구성 방법들과 비교하여 근사 품질, 컴팩트함, 학습 시간에서 향상을 이룬다.
• Instant-NGP와 비교하여, DiF는 SDF 및 방사율 필드 작업에서 총 모델 매개변수 수를 절반으로 줄이면서 재구성 및 렌더링 품질이 더 우수하다.
• DiF는 평가된 작업 전반에서 이미지 회귀 품질이 더 높고, 3D SDF 기하 재구성도 더 양호하며, 방사율 필드의 컴팩트함도 크게 개선된다.
• 공유 기저를 통한 신호 간 학습은 보지 못한 이미지나 3D 장면으로의 일반화를 가능하게 하고, 희소 관찰로부터의 재구성을 개선한다.
• Factor Fields는 다수의 기존 모델을 특수한 경우로 표현할 수 있으며, 다수의 요인(N>1)을 사용하는 것이 용량과 성능을 향상시킨다.
• DiF는 신호 간 기저 학습을 가능하게 하여 일반화 이점과 효율적인 few-shot 재구성을 제공한다.

Figure 6 : Radiance Field Reconstruction . We evaluate our DiF using NeRF-Synthetic and Tanks and Temples datasets, our method is able to reconstruct high-quality surface details.