[논문 리뷰] NeU-NBV: Next Best View Planning Using Uncertainty Estimation in Image-Based Neural Rendering

Liren Jin, Xieyuanli Chen외 2명|arXiv (Cornell University)|2023. 03. 02.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 이미지 기반 신경 렌더링에서의 불확실성 추정을 활용하여 지도 없이 다음 최적 시점(NBV) 계획을 수행하는 NeU-NBV라는 프레임워크를 제안한다. 예측된 불확실성이 가장 높은 시점을 선택함으로써, 신경 렌더링 필드를 재학습하지 않고도 정보가 풍부한 이미지를 효율적으로 수집할 수 있으며, 이는 기존의 기준 대비 향상된 장면 복원 품질을 이끌어낸다.

ABSTRACT

Autonomous robotic tasks require actively perceiving the environment to achieve application-specific goals. In this paper, we address the problem of positioning an RGB camera to collect the most informative images to represent an unknown scene, given a limited measurement budget. We propose a novel mapless planning framework to iteratively plan the next best camera view based on collected image measurements. A key aspect of our approach is a new technique for uncertainty estimation in image-based neural rendering, which guides measurement acquisition at the most uncertain view among view candidates, thus maximising the information value during data collection. By incrementally adding new measurements into our image collection, our approach efficiently explores an unknown scene in a mapless manner. We show that our uncertainty estimation is generalisable and valuable for view planning in unknown scenes. Our planning experiments using synthetic and real-world data verify that our uncertainty-guided approach finds informative images leading to more accurate scene representations when compared against baselines.

연구 동기 및 목표

• 제한된 측정 예산 내에서 알 수 없는 장면에서의 능동적 인지 문제를 해결하기 위해.
• 온라인 임무 중 신경 렌더링 필드(NeRF) 재학습이 비용이 많이 들기 때문에 이를 피하는 지도 없는 NBV 계획 프레임워크를 개발하기 위해.
• 이미지 기반 신경 렌더링에서의 불확실성 추정을 활용하여 가장 정보가 풍부한 시점으로 데이터 수집을 이끌기 위해.
• 명시적인 전역 지도 없이도 대상 이미지 수집을 통해 장면 표현 품질을 향상시키기 위해.
• 온라인 데이터 수집과 계산 비용이 많이 드는 NeRF 재학습을 분리함으로써 계산 효율성을 높이기 위해.

제안 방법

• 프레임워크는 근접한 기준 이미지를 공유 인코더를 통해 잠재 특징 공간으로 매핑하여 장면 표현을 생성한다.
• 지표가 필요 없이 학습된 불확실성 헤드를 사용해 새로운 시점 합성에서 픽셀 단위의 불확실성을 예측한다.
• 다음 최적 시점은 장면 전반에 걸쳐 평균 불확실성이 가장 높은 후보로 선택된다.
• 불확실성 추정은 장면 간 일반화 가능하며, 미세조정 없이도 새로운 환경에 바로 적용할 수 있다.
• 이 방법은 새로운 측정값을 이미지 컬렉션에 점진적으로 추가하고 실시간으로 불확실성 추정을 갱신한다.
• 장면 복원은 불확실성 유도 계획자에 의해 수집된 이미지들에 기반한 NeRF를 오프라인으로 훈련시켜 수행한다.

Figure 1 : Our novel NBV planning framework exploits uncertainty estimation in image-based neural rendering to guide measurement acquisition. Given reference images from the current image collection of the scene (black frustums), our network outputs per-pixel uncertainty estimates at sampled view ca

실험 결과

연구 질문

• RQ1 이미지 기반 신경 렌더링에서의 불확실성 추정이 알 수 없는 장면에서 다음 최적 시점 계획을 효과적으로 이끌 수 있는가?
• RQ2 불확실성 유도 시점 선택 전략이 히وري스틱 또는 무작위 전략에 비해 장면 복원 품질에서 어떻게 비교되는가?
• RQ3 불확실성 추정은 재학습 없이도 새로운 장면에 일반화 가능한가?
• RQ4 불확실성 기반으로 수집된 이미지가 제한된 데이터로도 더 나은 NeRF 성능을 이끌어낼 수 있는가?
• RQ5 이 프레임워크는 온라인 데이터 수집과 계산 비용이 많이 드는 NeRF 재학습을 분리할 수 있는가?

주요 결과

• 불확실성 유도 접근 방식은 자동차 장면에서 랜덤 전략(25.73 ± 0.83 PSNR, 0.908 ± 0.012 SSIM)에 비해 더 높은 PSNR(28.35 ± 0.53)와 SSIM(0.934 ± 0.004)를 달성했다.
• 실내 장면에서는 30.46 ± 0.24 PSNR와 0.941 ± 0.003 SSIM을 기록하여, 랜덤 계획(28.46 ± 0.92 PSNR, 0.920 ± 0.007 SSIM)을 초월했다.
• 정성적 결과에서는 표적 이미지 수집 덕분에 차량의 앞부분 등 구조적 세부 정보를 더 잘 포착한 것으로 나타났다.
• 데이터 수집과 복원을 분리함으로써 고비용 NeRF 재학습에 대한 의존도를 줄여 효율적인 온라인 운영을 가능하게 하였다.
• 불확실성 유도 계획에 의해 수집된 이미지는 제한된 데이터로도 더 나은 NeRF 훈련 성능을 이끌어냈다.
• 불확실성 추정은 장면 간 일반화 가능하여, 장면 특화 적응 없이도 효과적인 계획 수단이 되었다.

Figure 2 : Overview of our mapless NBV planning framework. We leverage uncertainty estimation in image-based neural rendering to actively guide measurement acquisition in unknown scenes.