[논문 리뷰] NeuSample: Neural Sample Field for Efficient View Synthesis

Jiemin Fang, Lingxi Xie외 4명|arXiv (Cornell University)|2021. 11. 30.

3D Shape Modeling and Analysis참고 문헌 44인용 수 12

한 줄 요약

NeuSample는 레이를 직접 최적화된 샘플링 분포로 매핑하는 단일 스텝, 경량 네트워크인 신경 샘플 필드를 제안하여 NeRF의 이중 단계 계층적 샘플링을 대체함으로써 더 빠른 추론과 향상된 렲링 품질을 달성한다. 이 방법은 군집 네트워크 추론을 제거함으로써 계산 비용을 감소시키면서도 NeRF의 성능을 유지하거나 초월하며, 효율적인 구현을 위한 샘플 필드 추출을 통해 추가로 가속화된다.

ABSTRACT

Neural radiance fields (NeRF) have shown great potentials in representing 3D scenes and synthesizing novel views, but the computational overhead of NeRF at the inference stage is still heavy. To alleviate the burden, we delve into the coarse-to-fine, hierarchical sampling procedure of NeRF and point out that the coarse stage can be replaced by a lightweight module which we name a neural sample field. The proposed sample field maps rays into sample distributions, which can be transformed into point coordinates and fed into radiance fields for volume rendering. The overall framework is named as NeuSample. We perform experiments on Realistic Synthetic 360$^{\circ}$ and Real Forward-Facing, two popular 3D scene sets, and show that NeuSample achieves better rendering quality than NeRF while enjoying a faster inference speed. NeuSample is further compressed with a proposed sample field extraction method towards a better trade-off between quality and speed.

연구 동기 및 목표

• NeRF의 추론 중 이중 단계 계층적 샘플링으로 인한 높은 계산 비용을 해결하기 위해.
• 군집 샘플링 단계를 학습 가능한 경량 신경 샘플 필드로 대체하여 렌더링 품질과 속도를 향상시키기 위해.
• 새로운 샘플 필드 추출 방법을 통해 효율적인 추론과 모델 압축을 가능하게 하기 위해.
• 캐시 또는 명시적 데이터 구조에 의존하지 않고도 렌더링 품질과 속도 사이의 더 나은 트레이드오프를 달성하기 위해.

제안 방법

• 신경 샘플 필드는 레이의 원점과 방향을 입력으로 받아 레이를 따라 N개의 샘플링 거리를 출력하는 5차원 신경망이다.
• 샘플 필드는 볼륨 렌더링을 위한 고품질의 샘플링 분포 최적화를 위해 레디언스 필드와 함께 엔드 투 엔드로 훈련된다.
• 이 방법은 단일 순방향 전파에서 최적화된 샘플 포인트를 직접 예측함으로써 별도의 군집 네트워크가 필요 없도록 한다.
• 추가로, 중복된 점을 제거하여 네트워크를 압축하는 샘플 필드 추출 방법을 제안하여 추론 시간을 25% 감소시키면서도 품질을 유지한다.
• 샘플 필드 네트워크에 레이 좌표와 방향을 임bedding하기 위해 10개의 주파수를 사용한 위치 인코딩을 적용한다.
• 예측된 샘플 포인트와 그에 대응하는 레디언스/투명도 값은 레디언스 필드로부터 취득하여 볼륨 렌더링을 수행한다.

실험 결과

연구 질문

• RQ1 학습 가능한 단일 스텝 신경 샘플 필드가 NeRF의 이중 단계 계층적 샘플링을 대체하여 효율성을 향상시킬 수 있는가?
• RQ2 제안된 샘플 필드가 추론 시간을 줄이며 기존 NeRF보다 더 나은 렌더링 품질을 제공하는가?
• RQ3 샘플 필드가 압축을 위해 추출될 때도 높은 렌더링 품질을 유지할 수 있는가?
• RQ4 샘플 필드 네트워크의 깊이가 다양한 복잡도를 가진 시점에서 성능에 어떤 영향을 미치는가?
• RQ5 위치 인코딩 주파수의 변화가 샘플 필드의 성능에 어떤 영향을 미치는가?

주요 결과

• NeuSample은 실감나는 합성 360° 및 실제 전방 시점 벤치마크에서 NeRF보다 뛰어난 렌더링 품질을 달성한다.
• 압축 없이도 표준 NeRF 대비 약 25%의 추론 시간 감소를 기록한다.
• 합성 레고 시나리오에서 2층의 샘플 필드 네트워크는 PSNR를 4.36 dB 감소시켜, 더 깊은 네트워크가 복잡한 시점에 필수적임을 시사한다.
• 버드나무 시나리오에서 네트워크 깊이를 8에서 2로 줄였을 때 PSNR 감소는 0.29 dB에 불과하여 깊이 감소에 대해 더 높은 강건성을 보임을 확인한다.
• 위치 인코딩 주파수를 5에서 15로 변경했을 때 영향은 미미하며, 두 시나리오 모두에서 PSNR 변동이 0.2 dB 이하로 유지된다.
• 샘플 시각화 결과, NeuSample은 NeRF의 조밀한 군집화에 비해 더 균일하게 분포하고 전략적으로 배치된 샘플을 생성함을 확인하여 렌더링 정확도 향상을 입증한다.