[논문 리뷰] SceneCode: Monocular Dense Semantic Reconstruction using Learned Encoded Scene Representations

Shuaifeng Zhi, Michael Bloesch외 2명|arXiv (Cornell University)|2019. 03. 15.

Advanced Vision and Imaging참고 문헌 40인용 수 9

한 줄 요약

이 논문은 기하학과 의미 정보를 위한 압축되고 최적화 가능한 잠재 코드를 학습하기 위해 조건부 variational auto-encoder (CVAE)를 사용하는 단안 밀도적 의미 SLAM 시스템인 SceneCode를 제안한다. 겹치는 시야 간에 이러한 코드를 공동으로 최적화함으로써 공간적 상관관계를 유지하면서도 고품질의 일관된 의미 레이블 융합이 가능하며, mIoU 측면에서 픽셀 기반 융합 방법보다 뛰어나다. 이를 통해 카메라 자세, 기하학, 의미 정보를 종합적으로 최적화하는 엔드 투 엔드 방식으로 강력하고 일관된 3차원 장면 재구성 가능하다.

ABSTRACT

Systems which incrementally create 3D semantic maps from image sequences must store and update representations of both geometry and semantic entities. However, while there has been much work on the correct formulation for geometrical estimation, state-of-the-art systems usually rely on simple semantic representations which store and update independent label estimates for each surface element (depth pixels, surfels, or voxels). Spatial correlation is discarded, and fused label maps are incoherent and noisy. We introduce a new compact and optimisable semantic representation by training a variational auto-encoder that is conditioned on a colour image. Using this learned latent space, we can tackle semantic label fusion by jointly optimising the low-dimenional codes associated with each of a set of overlapping images, producing consistent fused label maps which preserve spatial correlation. We also show how this approach can be used within a monocular keyframe based semantic mapping system where a similar code approach is used for geometry. The probabilistic formulation allows a flexible formulation where we can jointly estimate motion, geometry and semantics in a unified optimisation.

연구 동기 및 목표

• 기존 의미 SLAM 시스템이 표면 요소별로 의미 레이블을 독립적으로 처리하여 일관성 없고 노이즈가 많은 융합 지도를 초래하는 한계를 해결하기 위해.
• 시야 간 공간적 상관관계를 유지하는 압축형, 미분 가능하고 최적화 가능한 의미 분할 표현을 개발하기 위해.
• 학습된 의미 코드를 단안 키프레임 기반 SLAM 시스템에 통합하여 기하학과 의미 정보를 카메라 운동과 함께 공동으로 최적화하기 위해.
• 코드 기반 융합이 전통적인 픽셀 기반 레이블 융합보다 일관성과 mIoU 측면에서 뛰어나며, 특히 모호한 영역에서 성능이 뛰어남을 입증하기 위해.
• 단일 RGB 카메라만을 사용하여 강력하고 실시간적인 3차원 장면 재구성과 함께 일관된 의미 레이블을 제공하기 위해.

제안 방법

• 입력 RGB 이미지에서 기하학(깊이)과 의미(분할 레이블)를 위한 저차원 잠재 코드로 매핑하는 다중 작업 조건부 변동형 오토인코더(CVAE)를 학습한다.
• 의미 CVAE는 입력 이미지 조건 하에 다중모달, 확률적 분포를 학습하여 불확실성 인식 및 일관성 있는 예측이 가능하다.
• 다중 시야 의미 레이블 융합은 겹치는 이미지의 잠재 코드를 공동으로 최적화하여 공유된 코드 공간과 제로 코드 정규화 사전을 통해 일관성을 강제한다.
• 카메라 자세, 기하학 코드, 의미 코드를 복합적으로 최적화하는 유일한 최적화 프레임워크에 기하학과 의미 정보를 통합한다.
• 실시간 단안 SLAM을 위해 슬라이딩 윈도우 방식을 사용하며, 키프레임은 원시 레이블이나 서페이스 요소가 아닌 압축된 코드를 저장한다.
• 이미지 인코딩을 위해 ResNet-50 백본을 사용하는 U자형 인코더-디코더 아키텍처를 사용하며, 잠재 코드 예측을 위한 완전 컨volution 헤드를 사용한다.

실험 결과

연구 질문

• RQ1 학습된 저차원 잠재 코드가 다중 시야 융합에서 공간적 상관관계를 유지하면서도 일관성 있고 효과적인 의미 분할을 가능하게 할 수 있는가?
• RQ2 코드 기반의 공동 최적화 방식이 표면 요소별 융합 방식보다 레이블 일관성과 정확도 측면에서 어떻게 비교되는가?
• RQ3 압축된 의미 표현이 단안 SLAM 시스템에 효과적으로 통합되어 기하학, 의미 정보, 카메라 자세를 공동으로 최적화할 수 있는가?
• RQ4 제로 코드 정규화 사전은 특히 모호하거나 신뢰도가 낮은 영역에서 의미 최적화에 어떤 영향을 미치는가?
• RQ5 단일 이미지 기반 CVAE 표현이 단안 영상에서 강력하고 실시간적인 밀도적 의미 재구성에 얼마나 효과적으로 기여할 수 있는가?

주요 결과

• 제안된 코드 최적화 방법은 SceneNet RGB-D 데이터셋에서 이중 시야 융합에서 43.842 mIoU를 달성하여, 곱하기(42.326 mIoU) 및 평균화(42.220 mIoU) 기반 기준선 방법보다 뚜렷이 뛰어나다.
• 제로 코드 정규화 사전이 없을 경우 이중 시야 융합 정확도는 39.600 mIoU로 떨어지며, 이는 국소적으로 일관되지만 잘못된 레이블로 수렴하는 것을 방지하는 사전의 중요성을 입증한다.
• 최적화 후 모호한 영역에서 엔트로피가 감소하여, 독립적인 픽셀 수준 융합 대비 더 높은 모델 신뢰도와 더 매끄럽고 일관성 있는 예측을 나타낸다.
• 정성적 결과는 특히 저신뢰도 영역에서 어려운 상황에서도 겹치는 시야 간에 더 부드럽고 일관성 있는 의미 레이블을 생성함을 보여준다.
• 시스템은 단안 영상에서 조밀하고 일관성 있는 3차원 의미 지도를 성공적으로 재구성하였으며, 초기화 과정과 순수 회전 운동 하에서도 강력함을 입증하였다.
• 공유된 잠재 코드를 통한 기하학과 의미 정보의 공동 최적화는 분리된 접근 방식에 비해 더 타이트한 결합과 향상된 전체 장면 표현 품질을 가능하게 한다.