[논문 리뷰] InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering

Mijeong Kim, Seonguk Seo외 1명|arXiv (Cornell University)|2021. 12. 31.

Advanced Vision and Imaging인용 수 9

한 줄 요약

InfoNeRF는 약간 다른 시점에서의 레이 엔트로피 최소화와 정보 수익 감소를 통해 소수의 입력 뷰에서 신경 볼륨 렌더링에 정보 이론적 정규화 방법을 도입한다. 이 双중 정규화는 재구성 일관성 향상과 과적합 방지를 통해, 사전 장면 지식 없이도 넓은 기준선 조건에서도 표준 벤치마크에서 최신 기술 수준의 성능을 달성한다. 입력 뷰가 4~8장 뿐이어도 성능을 내며, 특히 낮은 샘플 수 및 높은 기준선 설정에서 뛰어난 성능을 보인다.

ABSTRACT

We present an information-theoretic regularization technique for few-shot novel view synthesis based on neural implicit representation. The proposed approach minimizes potential reconstruction inconsistency that happens due to insufficient viewpoints by imposing the entropy constraint of the density in each ray. In addition, to alleviate the potential degenerate issue when all training images are acquired from almost redundant viewpoints, we further incorporate the spatially smoothness constraint into the estimated images by restricting information gains from a pair of rays with slightly different viewpoints. The main idea of our algorithm is to make reconstructed scenes compact along individual rays and consistent across rays in the neighborhood. The proposed regularizers can be plugged into most of existing neural volume rendering techniques based on NeRF in a straightforward way. Despite its simplicity, we achieve consistently improved performance compared to existing neural view synthesis methods by large margins on multiple standard benchmarks.

연구 동기 및 목표

• 소수의 뷰에서의 재구성 불일관성 문제를 해결하여 렌더링된 이미지의 노이즈, 흐림, 잡음 등을 줄이기 위해.
• 제한된 뷰 학습 환경에서 중복되거나 유사한 시점에 과적합되는 문제를 해결하기 위해.
• 보조 데이터 구조(예: 볼륨 또는 메쉬)가 필요 없이 기존 NeRF 기반 방법에 적용 가능한 일반적이고 파라미터 없는 정규화 기법을 개발하기 위해.
• 사전 장면 지식이나 외부 감독 없이도 넓은 기준선 데이터셋에서 고품질의 새로운 뷰 합성 기능을 제공하기 위해.
• 다양한 벤치마크에서 일관된 성능 향상을 이루며, 특히 저샘플 수 및 고기준선 설정에서의 성능 향상을 확보하기 위해.

제안 방법

• 각 레이를 따라 밀도 값의 엔트로피를 최소화하여, 제약이 적은 영역에서의 재구성 불확실성을 줄이고 희박성(스패arsity)을 촉진하기 위해.
• 조금씩 변형된 시점에서의 레이 간 정보 수익 감소를 위해 KL 발산 기반 손실을 도입하여 재구성된 볼륨의 공간적 스무스함을 강제하기 위해.
• 표준 NeRF 학습에 비가역적이고 경량의 추가 요소로 두 정규화 기법을 적용하여 추가 학습 가능한 파라미터가 필요 없도록 하기 위해.
• 기존 NeRF 및 PixelNeRF 프레임워크에 정규화 기법을 통합하여 다양한 아키텍처에 대한 일반화 능력을 입증하기 위해.
• NeRF의 원래 볼륨 렌더링 손실과 두 정보 이론적 정규화 기법의 가중치 합으로 전체 손실를 최적화하기 위해.
• 시점의 변형을 이용해 정보 수익을 추정하고 이웃 시점 간의 스무스함을 강제하여 열악한 해를 방지하기 위해.

(a) Rendered RGB and depth images estimated by NeRF [ 21 ] on the Realistic Synthetic 360 ∘ dataset in a 4-view setting.

실험 결과

연구 질문

• RQ1 레이 엔트로피 최소화가 소수의 뷰에서의 재구성 품질 향상과 잡음 감소에 기여하는가?
• RQ2 근접한 시점 간의 정보 수익 감소가 과적합을 방지하고 넓은 기준선 데이터셋에서 일반화 성능을 향상시키는가?
• RQ3 제한된 및 균일하지 않은 분포를 가진 학습 뷰에서 제안된 정규화 기법의 효과는 어떠한가?
• RQ4 기존 NeRF 기반 아키텍처에 아키텍처 수정 없이 일반적으로 적용 가능한가?
• RQ5 표준 벤치마크에서 PSNR, SSIM, LPIPS 측정 기준으로 기존 방법보다 얼마나 뛰어난 성능을 내는가?

주요 결과

• DTU 데이터셋에서 3개 뷰 설정에서 InfoNeRF는 표준 NeRF(8.50)와 다른 추출 변형 기법들을 크게 앞서는 PSNR 11.23을 달성한다.
• 실제로 구현된 360° 합성 데이터셋에서는 4~8개 뷰에서 일관된 성능 향상을 유지하며, 기준선 NeRF 대비 2dB 이상의 PSNR 향상을 기록한다.
• 엔트로피 최소화 손실만으로도 PSNR가 2.04dB 향상(8.50 → 10.54)되었지만, 과적합으로 인해 SSIM 성능이 악화되었으며, 이는 정보 수익 감소 손실에 의해 보정된다.
• 완전한 InfoNeRF 모델은 DTU에서 최고의 SSIM(0.445)와 LPIPS(0.543) 성능을 기록하여 구조적 일관성과 주관적 품질 향상을 입증한다.
• PixelNeRF에 통합된 InfoPixelNeRF는 드럼 장면에서의 정성적 비교를 통해 블러를 크게 줄이고 선명도를 향상시켰다.
• 제거 실험 결과, 두 정규화 기법이 모두 필요하다는 것이 확인되었으며, 엔트로피 최소화는 불확실성을 줄이고, 정보 수익 감소는 높은 유사도의 시점 설정에서 과적합을 방지한다.

(b) Rendered RGB images for two slightly different viewpoints (left: seen, right: unseen) estimated by NeRF [ 21 ] on the DTU dataset in a 3-view setting.