[논문 리뷰] Robust Camera Pose Refinement for Multi-Resolution Hash Encoding

Hwan Heo, Taekyung Kim외 5명|arXiv (Cornell University)|2023. 02. 03.

Advanced Vision and Imaging인용 수 5

한 줄 요약

이 논문은 신경 레디언스 필드에서 카메라 포즈 정밀화와 다중 해상도 해시 인코딩을 위한 강력한 공동 최적화 프레임워크를 제안한다. 부드러운 스트레이트스러우(estimator)와 커리큘럼 학습을 통해 기울기 진동을 안정화시킨다. 초기 포즈가 정확하지 않거나 알려져 있지 않은 경우에도 빠른 수렴을 이룩하며 최신 기술 수준의 새로운 시야 합성 성능을 달성한다.

ABSTRACT

Multi-resolution hash encoding has recently been proposed to reduce the computational cost of neural renderings, such as NeRF. This method requires accurate camera poses for the neural renderings of given scenes. However, contrary to previous methods jointly optimizing camera poses and 3D scenes, the naive gradient-based camera pose refinement method using multi-resolution hash encoding severely deteriorates performance. We propose a joint optimization algorithm to calibrate the camera pose and learn a geometric representation using efficient multi-resolution hash encoding. Showing that the oscillating gradient flows of hash encoding interfere with the registration of camera poses, our method addresses the issue by utilizing smooth interpolation weighting to stabilize the gradient oscillation for the ray samplings across hash grids. Moreover, the curriculum training procedure helps to learn the level-wise hash encoding, further increasing the pose refinement. Experiments on the novel-view synthesis datasets validate that our learning frameworks achieve state-of-the-art performance and rapid convergence of neural rendering, even when initial camera poses are unknown.

연구 동기 및 목표

• 신경 레디언스 필드에서 다중 해상도 해시 인코딩과 함께 공동 최적화할 경우 카메라 포즈 정밀화의 심각한 성능 저하 문제를 해결한다.
• 비미분 가능한 해시 함수와 비연속적인 d-linear 보간으로 인해 발생하는 기울기 진동이 포즈 최적화를 불안정하게 한다는 점을 규명한다.
• 스트레이트스러우(estimator)에 비선형 활성화 함수를 사용하여 부드러운 기울기 추정 전략을 개발함으로써 역전파의 안정성을 확보한다.
• 레벨별 해시 인코딩의 군집적 수렴을 가능하게 하기 위해 다중 수준 학습률 스케줄링을 도입한다.
• 얕은 디코더와 노이즈가 많은 초기 포즈가 존재하는 상황에서도 성능 향상을 입증하며, 이전에 디코더 용량에 대한 가정을 도전한다.

제안 방법

• 해시 격자 내 d-linear 보간에서 발생하는 진동을 줄이기 위해 비선형 활성화 함수를 갖춘 스트레이트스러우(estimator)를 사용하여 역전파 중 기울기를 부드럽게 한다.
• 전방 전파에서는 d-linear 보간을 유지하면서도, 역전파에서는 학습 가능한 활성화 함수를 통해 부드러운 기울기를 확보한다.
• 해시 인코딩의 다양한 해상도 수준 간 수렴 속도를 조절하기 위해 다중 수준 학습률 스케줄링을 구현한다.
• 진행적 정밀화를 위해 커리큘럼 학습을 도입하여 포즈와 장면 표현의 안정성과 정확도를 향상시킨다.
• 노이즈가 많은 포즈에서의 국소 최적화를 피하기 위해 더 깊고 넓은 디코더 네트워크(4층 MLP, 256개 뉴런)를 사용한다.
• 각 구성 요소가 포즈 정확도와 시야 합성 품질에 미치는 영향을 검증하기 위해 아블레이션 스터디를 수행한다.

실험 결과

연구 질문

• RQ1 NeRF 기반 렌더링에서 카메라 포즈와 다중 해상도 해시 인코딩을 단순히 공동 최적화할 경우 실패하는 이유는 무엇인가?
• RQ2 해시 인코딩에서 발생하는 기울기 진동이 카메라 포즈 정밀화와 장면 재구성에 어떤 영향을 미치는가?
• RQ3 부드러운 기울기 추정 전략이 다중 해상도 해시 기반 NeRF에서 카메라 포즈 최적화를 안정화시킬 수 있는가?
• RQ4 다중 수준 학습률 스케줄링이 계층적 해시 인코딩에서 수렴성과 포즈 정확도를 향상시키는가?
• RQ5 초기 카메라 포즈가 정확하지 않을 경우 디코더 용량은 포즈 정밀화에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 NeRF-Synthetic 및 LLFF 데이터셋에서 최신 기술 수준의 새로운 시야 합성 성능을 달성하였으며, COLMAP 초기화 조건에서 LLFF에서 최대 PSNR 26.73을 기록하였다.
• 스트레이트스러우(estimator)를 통한 기울기 스무딩은 포즈 등록 오차를 감소시켜, 기준 모델 대비 PSNR를 1.94점 향상시켰다(표 4 참조: 24.79 대비 26.73).
• 기존 연구 대비 20배 이상 빠른 학습 속도를 확보하였으며, Hotdog 데이터셋에서 1회 반복당 추론 시간은 단 10.8ms였다.
• 아블레이션 스터디 결과, 부드러운 기울기와 다중 수준 학습률 스케줄링이 특히 노이즈가 많은 초기 포즈 조건에서 정확한 포즈 정밀화에 핵심 요소임을 확인하였다.
• 더 깊고 넓은 디코더(4층, 256개 뉴런)는 얕은 디코더보다 수렴성과 성능 향상에 뚜렷한 기여를 하였으며, 이는 이전에 최소한의 디코더 크기로 충분하다는 가정을 뒤집는 결과였다.
• 초기 포즈가 알려져 있지 않은 경우조차도 경쟁 기반 모델(GARF, BARF 등)보다 포즈 정확도와 시야 합성 품질에서 뛰어난 성능을 보였다.