[논문 리뷰] Recognizing Scenes from Novel Viewpoints

Shengyi Qian, Alexander Kirillov외 5명|arXiv (Cornell University)|2021. 12. 02.

Advanced Vision and Imaging참고 문헌 65인용 수 4

한 줄 요약

이 논문은 몇 장의 RGB 이미지와 카메라 포즈로부터 3D 장면 표현을 학습하는 엔드 투 엔드 모델인 ViewSeg를 제안한다. 이는 새로운 시점에서의 의미 분할과 깊이 예측을 RGB 이미지 없이도 제로샷으로 가능하게 하며, 복잡한 새로운 실내 환경에 대해 강력한 일반화 성능을 보인다. 이 방법은 2D 다중시점 애너테이션과 카메라 포즈만을 사용하여 의미와 기하학을 동시에 최적화함으로써 Hypersim 및 Replica 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Humans can perceive scenes in 3D from a handful of 2D views. For AI agents, the ability to recognize a scene from any viewpoint given only a few images enables them to efficiently interact with the scene and its objects. In this work, we attempt to endow machines with this ability. We propose a model which takes as input a few RGB images of a new scene and recognizes the scene from novel viewpoints by segmenting it into semantic categories. All this without access to the RGB images from those views. We pair 2D scene recognition with an implicit 3D representation and learn from multi-view 2D annotations of hundreds of scenes without any 3D supervision beyond camera poses. We experiment on challenging datasets and demonstrate our model's ability to jointly capture semantics and geometry of novel scenes with diverse layouts, object types and shapes.

연구 동기 및 목표

• 단지 몇 장의 2D 이미지와 카메라 포즈만을 사용하여 AI 에이전트가 새로운 시점에서 장면을 인식하고 이해할 수 있도록 하는 것.
• 카메라 포즈 이외의 명시적 3D 애너테이션 없이도 의미 이해와 3D 기하학을 동시에 학습하는 것.
• 복잡한 실내 환경에서 2D 장면 이해, 3D 장면 복원, 그리고 새로운 시점 합성 간 격차를 메우는 것.
• 실세계 장면의 다양한 레이아웃, 물체 유형, 형태에 일반화되는 모델을 개발하는 것.

제안 방법

• ViewSeg는 RGB 이미지, 의미 분할, 카메라 포즈를 입력으로 사용하는 다중시점 2D 감독 설정을 사용한다.
• NeRF 스타일의 볼륨 렌더링 기반 3D 암묵적 신경 표현을 사용하여 장면 기하학과 의미를 암묵적으로 인코딩한다.
• 목표 카메라의 포즈를 사용하여 3D 표현을 쿼리함으로써 새로운 시점에 대한 의미 분할과 깊이를 예측한다.
• 2D 애너테이션과 카메라 포즈만을 사용하여 의미 분할과 깊이 예측을 결합한 다중 작업 손실로 엔드 투 엔드로 훈련한다.
• 특징 추출을 위한 2D 백본(예: DeepLabV3+)과 미분 가능한 시각화 생성을 위한 3D 렌더링 헤드를 아키텍처에 통합한다.
• Replica와 같은 타겟 데이터셋에서의 피니튜닝은 성능을 향상시키며, Hypersim에서의 사전 훈련 결과에 비해 강력한 제로샷 일반화 성능을 보여준다.

실험 결과

연구 질문

• RQ1 2D 이미지와 카메라 포즈만을 사용하여 3D 지도가 없이도 새로운 시점에서 의미 분할을 학습할 수 있는가?
• RQ2 의미와 기하학을 동시에 최적화하면 의미 분할 정확도와 3D 이해 수준이 별도 또는 순차적 접근 방식보다 향상되는가?
• RQ3 다양한 레이아웃과 물체 유형을 가진 복잡한 실세계 실내 환경에 대해 모델의 일반화 능력은 어느 정도인가?
• RQ4 훈련 중에 진짜 깊이 데이터가 없을 때 의미 감독은 깊이 추정 성능에 얼마나 기여하는가?

주요 결과

• 피니튜닝 후 Replica 테스트 세트에서 ViewSeg는 mIoU가 30.2를 기록하여 기준 모델들을 크게 앞서간다.
• Hypersim 데이터셋에서 ViewSeg는 mIoU 30.2와 깊이 Rel(상대 오차) 0.130을 달성하여 도전적인 다각도의 장면에서 강력한 성능을 보였다.
• 의미 감독을 통해 훈련할 경우 깊이 예측 정확도가 향상되어 의미 정보가 기하학적 이해를 향상시킨다는 것을 시사한다.
• Replica에서의 피니튜닝으로 mIoU가 13.2(피니튜닝 없음)에서 30.2로 향상되어 새로운 장면 통계에 강력하게 적응하는 것으로 나타났다.
• 오라클 모델(Replica에서 감독 훈련)은 mIoU 56.2를 기록하여 ViewSeg의 제로샷 성능가 3D 지도 없이도 경쟁 가능함을 보여준다.
• 절단 실험 결과 의미 감독이 깊이 추정을 향상시킴을 확인하였으며, 의미 손실이 포함되었을 경우 깊이 오차가 40% 감소(0.222 → 0.130)하였다.