[논문 리뷰] PREF: Phasorial Embedding Fields for Compact Neural Representations

Binbin Huang, Xinhao Yan외 3명|arXiv (Cornell University)|2022. 05. 26.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

PREF는 2D 평면에 균일하게 분포된 주파수와 1D 축을 따라 확장되는 방식으로 전체 스펙트럼 대역을 효율적으로 커버하는 확장된 3D 위상자리 볼륨을 사용하는 컴act하고 효율적인 주파수 기반 신경 표현을 제안한다. 이는 하이브리드 FFT 및 局소 보간 방법을 통해 푸리에 매핑을 가속화한다. 이는 기존의 주파수 기반 및 하이브리드 표현에 비해 메모리 소비를 크게 줄이고 강건성을 향상시키며, 2D 이미지 일반화, 3D SDF 회귀, 5D 신경 렌더링 필드 재구성에서 최신 기준 성능을 달성한다.

ABSTRACT

We present an efficient frequency-based neural representation termed PREF: a shallow MLP augmented with a phasor volume that covers significant border spectra than previous Fourier feature mapping or Positional Encoding. At the core is our compact 3D phasor volume where frequencies distribute uniformly along a 2D plane and dilate along a 1D axis. To this end, we develop a tailored and efficient Fourier transform that combines both Fast Fourier transform and local interpolation to accelerate naïve Fourier mapping. We also introduce a Parsvel regularizer that stables frequency-based learning. In these ways, Our PREF reduces the costly MLP in the frequency-based representation, thereby significantly closing the efficiency gap between it and other hybrid representations, and improving its interpretability. Comprehensive experiments demonstrate that our PREF is able to capture high-frequency details while remaining compact and robust, including 2D image generalization, 3D signed distance function regression and 5D neural radiance field reconstruction.

연구 동기 및 목표

• 고주파 세부 정보를 캡처하는 데에 비효율적이고 메모리 소비가 큰 주파수 기반 신경 표현의 문제를 해결하기 위해.
• 주파수 인코딩 모델에서 큰 비용이 드는 MLP에 대한 의존도를 줄이고, 능력을 컴act한 위상자리 볼륨으로 이관하기 위해.
• 주파수 성분을 직접 조작할 수 있도록 함으로써 신경 필드의 해석 가능성과 제어 가능성 향상하기 위해.
• 주파수 기반 표현과 하이브리드 표현(예: 밀도 있는 격자, 옥트리) 간의 성능 및 효율성 격차를 해소하기 위해.
• 전체 미분 정규화와 유사한 새로운 Parsvel 정규화를 통해 주파수 기반 학습의 안정성을 높이기 위해.

제안 방법

• 전체 스펙트럼 대역을 효율적으로 커버하기 위해 2D 주파수 분포가 균일하고 1D 축을 따라 확장되는 3D 위상자리 볼륨을 제안한다.
• 기본적인 푸리에 매핑을 가속화하기 위해 빠른 푸리에 변환(FFT)과 局소 보간을 융합한 하이브리드 푸리에 변환을 도입한다.
• 위상 레이어에 특화된 Parsvel 정규화를 설계하여 주파수 기반 학습의 안정성을 높이며, 전체 미분 정규화와 유사한 성질을 가진다.
• 기존의 주파수 인코딩에서 블랙박스 MLP를 얕은 네트워크로 대체하여 대부분의 능력을 위상자리 볼륨으로 이관함으로써 해석 가능성 향상.
• 고주파 세부 정보 복원을 위해 최소한의 파rameter 수로도 가능하도록 컴act하고 구조화된 주파수 레이아웃을 설계한다.
• 전처리 및 저장된 변환된 특징을 활용하여 추론 속도를 보장함에도 불구하고 FFT로 인한 추가 학습 비용을 감수한다.

실험 결과

연구 질문

• RQ1 비균일한 주파수 분포를 가진 컴act한 위상자리 볼륨이 고주파 세부 정보를 캡처하는 데 있어 표준 균일 푸리에 인코딩을 능가할 수 있는가?
• RQ2 주파수 기반 신경 표현에서 푸리에 매핑의 계산 비용을 감소시키면서도 스펙트럼 커버리지 손실 없이 수행할 수 있는가?
• RQ3 위상자리 볼륨이 성능을 유지하거나 향상시키면서 MLP를 얼마나 대체할 수 있는가?
• RQ4 위상자리 레이어에 특화된 정규화가 주파수 기반 모델의 학습 안정성과 일반화 능력을 향상시키는가?
• RQ5 주파수 성분을 직접 편집할 수 있도록 허용할 경우, 주파수 기반 표현의 해석 가능성은 하이브리드 표현에 비해 어떻게 비교되는가?

주요 결과

• PREF는 자연 이미지에서 PSNR 24.113 ± 3.464, 텍스트 이미지에서 PSNR 28.329 ± 2.373를 기록하며 PE, SIREN, NGP를 모두 능가하는 2D 이미지 일반화에서 최신 기준 성능 달성.
• 3D 부호 거리 함수(SDF) 회귀에서, 545 KB 메모리만을 사용함에도 불구하고 밀도 있는 격자 기반 모델(31.02)을 약간 앞서는 PSNR 31.86을 달성.
• 5D 신경 렌더링 필드 재구성에서, NeRF 및 NGP 대비 메모리 소비를 줄이고 시각적 정밀도를 향상시켜 고품질의 새로운 시점 합성 결과 제공.
• Parsvel 정규화는 주파수 기반 모델의 학습을 안정화시켜 다양한 작업에서 일관된 수렴과 강건성을 보장한다.
• 위상자리 볼륨은 직접적이고 해석 가능한 신경 필드 편집을 가능하게 하며, 예를 들어 수준별 디테일 필터링을 통해 블랙박스 MLP에 비해 훨씬 높은 제어 가능성 확보.
• PREF는 경쟁력 있는 성능를 유지하면서도 메모리 프로파일을 545 KB로 줄였고, PE(1318 KB), SIREN(777 KB)를 크게 능가하며 NGP(696 KB)에 가까운 성능을 달성하면서도 더 우수한 일반화 능력을 확보.