[논문 리뷰] SiNeRF: Sinusoidal Neural Radiance Fields for Joint Pose Estimation and Scene Reconstruction

Yitong Xia, Hao Tang외 2명|arXiv (Cornell University)|2022. 10. 10.

Advanced Vision and Imaging인용 수 10

한 줄 요약

이 논문은 시그모이드 활성화 함수(SIREN)를 활용해 더 나은 레이디언스 매핑을 구현하고, 혼합 영역 샘플링(MRS) 전략을 통해 효율적인 레이 샘플링을 구현함으로써, 공동 3D 시각 재구성 및 카메라 자세 추정을 향상시키는 새로운 신경 레이디언스 필드 프레임워크인 SiNeRF를 제안한다. 이 방법은 특히 무문자 및 세밀한 시각 환경에서 NeRFmm보다 상당한 성능 향상을 보이며, 이미지 합성 품질과 자세 정확도 측면에서 뛰어난 성능을 발휘한다.

ABSTRACT

NeRFmm is the Neural Radiance Fields (NeRF) that deal with Joint Optimization tasks, i.e., reconstructing real-world scenes and registering camera parameters simultaneously. Despite NeRFmm producing precise scene synthesis and pose estimations, it still struggles to outperform the full-annotated baseline on challenging scenes. In this work, we identify that there exists a systematic sub-optimality in joint optimization and further identify multiple potential sources for it. To diminish the impacts of potential sources, we propose Sinusoidal Neural Radiance Fields (SiNeRF) that leverage sinusoidal activations for radiance mapping and a novel Mixed Region Sampling (MRS) for selecting ray batch efficiently. Quantitative and qualitative results show that compared to NeRFmm, SiNeRF achieves comprehensive significant improvements in image synthesis quality and pose estimation accuracy. Codes are available at https://github.com/yitongx/sinerf.

연구 동기 및 목표

• NeRFmm의 공동 최적화에서 발생하는 체계적이고 최적화되지 않은 문제를 해결하기 위해, 특히 무문자 및 세밀한 시각 환경에서의 어려움을 해결하고자 한다.
• Annotation된 카메라 파rameter가 필요 없이도 NeRF 기반 방법의 이미지 합성 품질과 자세 추정 정확도를 향상시키고자 한다.
• 무작위 레이 샘플링의 한계를 극복하기 위해 더 전략적인 샘플링 메커니즘을 도입하여 최적화 효율성을 향상시키고자 한다.
• 활성화 함수와 샘플링 전략이 NeRF 기반 프레임워크의 공동 최적화 성능에 미치는 영향을 조사하고자 한다.

제안 방법

• 제안된 SiNeRF는 레이디언스 필드의 표현력과 매끄러움을 향상시켜 도전적인 시각 환경에서 최적화를 보조하기 위해, 다층 퍼셉트론(MLP)에 SIREN(Sinusoidal Representation Network) 활성화 함수를 사용한다.
• 새로운 혼합 영역 샘플링(MRS) 전략이 도입되었으며, 이는 중요도에 따라 픽셀에 다른 가중치를 할당하여 레이 배치를 선택함으로써 핵심 영역과 무작위 샘플에 집중한다.
• MRS는 코너, 에지 등 핵심점 영역과 무작위 레이를 결합하여, 특히 무문자 영역에서 다양성과 강건성을 확보한다.
• 프레임워크는 유연한 볼륨 렌더링 과정과 재구성 손실을 활용해 레이디언스 필드와 카메라 파rameter를 엔드 투 엔드로 공동 최적화한다.
• 실험적으로 밀도 불확실성 파rameter σ를 25로 조정하여 렌더링된 이미지의 색소실 현상을 방지한다.
• LLFF 데이터셋을 대상으로 실험을 수행하여, 다양한 MLP 너비와 샘플링 전략을 가진 SiNeRF와 NeRFmm 기준선 간의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 표준 ReLU 기반 MLP에 비해 SIREN 활성화 함수가 공동 3D 시각 재구성 및 자세 추정의 최적화 지형과 성능 향상에 기여하는가?
• RQ2 혼합 영역 샘플링(MRS)이 특히 무문자 또는 도전적인 시각 환경에서 무작위 샘플링보다 더 효율적이고 강건한 학습을 이끌어내는가?
• RQ3 SIREN과 MRS는 상호작용을 통해 어떻게 작용하며, 그 조합이 이미지 품질과 자세 정확도에 어떤 영향을 미치는가?
• RQ4 실제 세계 데이터셋에서 SiNeRF는 PSNR, SSIM, LPIPS 및 자세 오차 지표 측면에서 NeRFmm를 얼마나 뛰어나게 성능 향상시키는가?
• RQ5 SiNeRF의 성능 향상이 무문자, 세밀한, 그리고 무문자 환경을 포함한 다양한 시각 유형에서 일관되게 유지되는가?

주요 결과

• LLFF 데이터셋에서 SiNeRF는 평균 PSNR 23.554를 기록하여 NeRFmm-256(22.773)와 NeRFmm-128(22.485)를 상당히 앞서며, 더 뛰어난 이미지 합성 품질을 입증한다.
• Trex 시나리오에서 SiNeRF는 이동 오차를 0.462×10⁻²로 줄였고, 기준선(w/o SIREN 및 MRS)의 1.467×10⁻²보다 향상되었으며, 회전 오차는 0.856°로 6.339°에서 크게 감소하여 자세 정확도 측면에서 뚜렷한 성능 향상을 보였다.
• 절단 실험 결과, SIREN과 MRS를 조합한 경우가 가장 뛰어난 성능을 보였으며, SIREN 없이(PSNR: 22.478) 또는 MRS 없이(PSNR: 25.542)의 모든 변형보다 SiNeRF가 뛰어난 성능을 기록했다.
• Fortress 시나리오에서 SiNeRF는 SIREN 없이 155.553°였던 회전 오차를 1.772°로 감소시켜, 무문자 영역에서 국소 최적점에 갇히는 문제를 효과적으로 해결함을 보여주었다.
• 정성적 결과에서는 SiNeRF의 자세 경로가 COLMAP 기준값과 매우 유사하게 일치함을 확인하여, 정확한 카메라 자세 추정 능력을 입증했다.
• Trex와 Fortress와 같은 도전적인 시나리오에서 SiNeRF는 NeRFmm가 빈약한 감독과 최적화 불안정성으로 어려움을 겪는 상황에서도 최첨단 성능을 달성했다.