[논문 리뷰] Uncertainty-Driven Active Vision for Implicit Scene Reconstruction

Edward Smith, Michal Drozdzal외 3명|arXiv (Cornell University)|2022. 10. 03.

Advanced Vision and Imaging인용 수 5

한 줄 요약

이 논문은 2D 감독과 부피 렌더링 기반 불확실성 추정을 사용하여 최소한의 시야로 암묵적 장면 재구성에 최적의 시점을 선택하는 불확실성 기반 활성 시각 프레임워크를 제안한다. 이는 재구성 품질을 크게 향상시키며, ABC 및 CO3D 데이터셋에서 유사한 조건에서도 최신 기술 성능을 달성한다. 특히 시점 선택과 형태 이해 능력에서 강력한 베이스라인을 초월한다.

ABSTRACT

Multi-view implicit scene reconstruction methods have become increasingly popular due to their ability to represent complex scene details. Recent efforts have been devoted to improving the representation of input information and to reducing the number of views required to obtain high quality reconstructions. Yet, perhaps surprisingly, the study of which views to select to maximally improve scene understanding remains largely unexplored. We propose an uncertainty-driven active vision approach for implicit scene reconstruction, which leverages occupancy uncertainty accumulated across the scene using volume rendering to select the next view to acquire. To this end, we develop an occupancy-based reconstruction method which accurately represents scenes using either 2D or 3D supervision. We evaluate our proposed approach on the ABC dataset and the in the wild CO3D dataset, and show that: (1) we are able to obtain high quality state-of-the-art occupancy reconstructions; (2) our perspective conditioned uncertainty definition is effective to drive improvements in next best view selection and outperforms strong baseline approaches; and (3) we can further improve shape understanding by performing a gradient-based search on the view selection candidates. Overall, our results highlight the importance of view selection for implicit scene reconstruction, making it a promising avenue to explore further.

연구 동기 및 목표

• 작은 시야 예산 하에서 암묵적 장면 재구성에서 활성 시점 선택에 대한 연구 부족을 해결하기 위해.
• 휴리스틱적 커버리지나 정보 이득에 의존하는 대신, 재구성 불확실성 감소를 최대화하는 시점을 선택하는 방법을 개발하기 위해.
• 2D 또는 3D 감독을 모두 사용해 훈련할 수 있는 강력한 점유 기반 재구성 모델을 만들기 위해.
• 선형 기반 부피 렌더링을 통해 관측 불확실성 추정을 통해 시점 공간을 효율적으로 탐색하기 위해.
• 시점 후보에 대한 기울기 기반 검색이 형태 이해를 더욱 향상시키는지 입증하기 위해.

제안 방법

• 이 방법은 다중 시점 이미지에서 3D 점유 확률을 예측하는 신경 암묵 모델을 사용하며, 렌더링된 이미지에서의 2D 감독 또는 기저 진실 점유에서의 3D 감독을 통해 훈련된다.
• 부피 렌더링을 확장하여 레이를 따라 예측된 점유 확률을 누적함으로써, 장면의 관측되지 않은 영역에 대한 불확실성 추정이 가능해진다.
• 시점 선택은 시점 조건에 따라 조정되는 불확실성 지표에 의해 이뤄지며, 이는 모델 불확실성 감소 가능성이 가장 높은 시점을 식별한다.
• 불확실성 추정은 레이를 기준으로 계산되어 후보 시점을 순위 매기는 점수로 사용되며, 높은 불확실성 영역을 드러내는 시점을 선호한다.
• 후보 시점 위치에 대한 기울기 기반 검색을 적용하여 선택을 정밀화함으로써, 형태 재구성 품질을 향상시킨다.
• 이 프레임워크는 합성(ABC) 및 실외 환경(CO3D) 데이터셋 모두에서 평가되어 다양한 장면 유형에 걸쳐 뛰어난 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 불확실성 기반 시점 선택이 암묵적 장면 재구성에서 휴리스틱 기반 방법(예: 최대 커버리지 또는 정보 이득)을 능가할 수 있는가?
• RQ2 불확실성 기반 활성 시점 선택과 결합했을 때 2D 감독이 얼마나 높은 품질의 점유 재구성 달성에 효과적인가?
• RQ3 후보 시점에 대한 기울기 기반 최적화가 낮은 시야 수 환경에서 형태 이해를 추가로 향상시킬 수 있는가?
• RQ4 시점 조건에 따른 불확실성 추정이 표준 불확실성 측정보다 더 유의미한 시점 획득을 이끌어낼 수 있는가?
• RQ5 제안된 방법이 실외 데이터를 포함한 다양한 장면 유형으로 일반화되는가?

주요 결과

• 제안된 재구성 모델은 2D 감독만으로 훈련되며 최대 100개의 입력 시점이 허용되는 조건에서 ABC 데이터셋에서 최신 기술 성능을 달성한다.
• ABC 및 CO3D 데이터셋에서 볼륨 기반 및 투영 기반 메트릭 모두에서 불확실성 기반 시점 선택 정책이 강력한 베이스라인을 뚜렷이 능가한다.
• CO3D 데이터셋에서는 3D 감독이 없음에도 불구하고 뛰어난 성능을 유지하며, 실제 환경 데이터에 대한 강건성을 입증한다.
• 시점 후보에 대한 기울기 기반 검색을 사용함으로써 형태 이해가 측정 가능한 수준으로 향상되며, 특히 복잡하거나 가림이 있는 영역에서 두드러진다.
• 교정 곡선은 잘 校정된 불확실성 추정을 보이며, 검증 세트에서는 교정 오차 0.031, 테스트 세트에서는 0.052를 기록하여 신뢰할 수 있는 불확실성 정량화를 나타낸다.
• 부피 렌더링을 통해 추정된 관측 불확실성은 실제 장면 기하학적 향상과 강한 상관관계를 보이며, 재구성 불확실성 감소를 효과적으로 수행한다.