[논문 리뷰] FreeNeRF: Improving Few-shot Neural Rendering with Free Frequency Regularization

Jiawei Yang, Marco Pavone외 1명|arXiv (Cornell University)|2023. 03. 13.

Advanced Vision and Imaging인용 수 7

한 줄 요약

FreeNeRF는 입력 주파수 제어와 근접 카메라 밀도 정규화를 통해 훈련을 안정화시켜 소수의 샘플에서 신경 렌더링 성능을 크게 향상시키는 간단하면서도 효과적인 주파수 정규화 기법을 도입한다. 단 한 줄의 코드 변경으로 추가 계산이나 외부 감독 없이도 Blender, DTU, LLFF 데이터셋에서 최고 성능을 달성한다.

ABSTRACT

Novel view synthesis with sparse inputs is a challenging problem for neural radiance fields (NeRF). Recent efforts alleviate this challenge by introducing external supervision, such as pre-trained models and extra depth signals, and by non-trivial patch-based rendering. In this paper, we present Frequency regularized NeRF (FreeNeRF), a surprisingly simple baseline that outperforms previous methods with minimal modifications to the plain NeRF. We analyze the key challenges in few-shot neural rendering and find that frequency plays an important role in NeRF's training. Based on the analysis, we propose two regularization terms. One is to regularize the frequency range of NeRF's inputs, while the other is to penalize the near-camera density fields. Both techniques are ``free lunches'' at no additional computational cost. We demonstrate that even with one line of code change, the original NeRF can achieve similar performance as other complicated methods in the few-shot setting. FreeNeRF achieves state-of-the-art performance across diverse datasets, including Blender, DTU, and LLFF. We hope this simple baseline will motivate a rethinking of the fundamental role of frequency in NeRF's training under the low-data regime and beyond.

연구 동기 및 목표

• 제한된 감독 신호로 인해 표준 NeRF가 과적합되는 소수의 입력에서의 새로운 시점 합성 문제를 해결한다.
• 소수 샘플 NeRF 훈련에서 실패의 근본 원인을 분석하며, 특히 위치 인코딩의 고주파 성분이 차지하는 역할을 규명한다.
• 복잡한 최첨단 방법보다 낮은 데이터 환경에서 뛰어난 성능을 내는 최소한의, 종속성 없고 오버헤드 없는 기준선을 개발한다.
• 주파수 및 음영 정규화가 추가 계산 없이 적용 가능하며 일반화 성능 향상과 '플로터(플로터)'와 같은 아티팩트 감소에 기여함을 보여준다.

제안 방법

• 초기 훈련 단계에서 위치 인코딩의 고주파 성분을 억제하는 주파수 정규화 항을 도입하여 최적화를 안정화시키고 치명적인 과적합을 방지한다.
• 주파수 정규화를 훈련의 일부 기간 동안 점차 끄는 커리큘럼 스케줄을 적용한다 (예: 총 반복의 90%). 이 기간은 각 데이터셋에 맞게 조정된다.
• 카메라 근처의 밀도 값을 페널티 처리하는 음영 정규화 항을 제안하여 희소 시점에서 잘못된 깊이 추정으로 인한 '플로터' 아티팩트를 줄인다.
• 간단한 텐서 마스크를 통해 정규화를 구현한다: 훈련 중 특정 위치 인코딩 차원을 0으로 설정하여, 단 한 줄의 코드 수정만으로도 가능하다.
• 학습 중에 위치 인코딩 임bedding에 대해 가속 가능한 마스크를 사용한다 (예: `pos_enc[int(t/T*L)+3:] = 0`)를 통해 주파수 범위를 동적으로 제어한다.
• 추가 渲染 또는 감독 없이 두 정규화를 결합하여 원래의 NeRF 아키텍처와 훈련 파이프라인을 유지하면서 최소한의 수정으로 성능 향상을 이룬다.

Figure 2 : Masking high-frequency inputs helps few-shot neural rendering. We investigate how NeRF performs with positional encodings under different masking ratios on the DTU dataset using 3 input views. Despite its over-smoothness, the plain NeRF succeeds in the few-shot setting when only low-frequ

실험 결과

연구 질문

• RQ1 표준 NeRF는 소수 샘플 설정에서 왜 실패하며, 위치 인코딩의 주파수 성분이 이 실패에 어떤 역할을 하는가?
• RQ2 주파수 제어에 기반한 단순하고 경량의 정규화 기법이 외부 감독 없이 저데이터 환경에서 NeRF 성능 향상에 기여할 수 있는가?
• RQ3 근접 카메라 밀도 정규화는 희소 시점 NeRF 훈련에서 아티팩트 감소(예: '플로터')에 어떤 영향을 미치는가?
• RQ4 예를 들어 한 줄의 코드 수정과 같은 최소한의 수정이 복잡한 다단계 파이프라인에 비해 최고 성능을 달성할 수 있는가?
• RQ5 주파수 정규화는 Blender, DTU, LLFF와 같은 다양한 데이터셋으로 일반화되는가? PSNR와 LPIPS 간의 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• FreeNeRF는 DTU-3 및 LLFF-3 벤치마크에서 최고 성능을 기록했으며, 각각 PSNR 19.81과 19.70을 달성하여 추가 감독이나 계산 없이도 이전 방법을 능가한다.
• 90% 주파수 정규화 스케줄이 모든 데이터셋에서 최고의 성능을 내며, 주파수 억제에 대한 커리큘럼 설계가 훈련 안정성과 일반화 성능 향상에 기여함을 입증한다.
• 음영 정규화는 데이터셋 전반에서 일관되게 성능 향상을 이끌어내며, DTU-3에서 PSNR는 17.40(비적용)에서 19.81(적용)로 상승하고 카메라 근처의 '플로터' 아티팩트를 감소시킨다.
• 이 방법은 종속성 없고 오버헤드 없이 구현된다: 사전 학습 모델, 깊이 감독, 추가 패치 렌더링이 필요 없어 실세계 적용에 실용적이다.
• 제거 실험 결과, 단순히 근접 경계를 조정하는 것보다 제안된 음영 정규화가 문제 영역의 밀도를 능동적으로 페널티 처리함으로써 더 큰 영향을 미친다.
• 높은 PSNR를 달성함에도 불구하고, 주파수 정규화 기간을 늘리면 LPIPS 점수가 감소할 수 있으며, 이는 충실도와 시각적 품질 간의 트레이드오프를 의미하며, 미세조정을 통해 이를 완화할 수 있다.

Figure 3 : Illustration of occlusion regularization. We show 3 training views (solid rectangles) and 2 novel views (dashed rectangles) rendered by a frequency-regularized NeRF. The floaters in the novel views appear to be near-camera dense fields in the training views (dashed circles) so that we can