[논문 리뷰] IV-SLAM: Introspective Vision for Simultaneous Localization and Mapping

Sadegh Rabiee, Joydeep Biswas|arXiv (Cornell University)|2020. 08. 06.

Robotics and Sensor-Based Localization참고 문헌 33인용 수 5

한 줄 요약

IV-SLAM은 시각 SLAM의 강인성을 향상시키기 위해 도메인 특화의 자율 학습 기반 노이즈 모델링 기법을 제안한다. 이 기법은 그림자, 반사, 저대비 질감 등의 어려운 영역에서 신뢰할 수 없는 특징을 식별하고 가중치를 낮추는 데 초점을 맞추며, 내성적 학습 프레임워크를 통해 이를 실현한다. 실제 데이터 기반 실험에서 ORB-SLAM 대비 추적 오차를 감소시키고 실패 간 평균 거리를 70% 이상 증가시킨다.

ABSTRACT

Existing solutions to visual simultaneous localization and mapping (V-SLAM) assume that errors in feature extraction and matching are independent and identically distributed (i.i.d), but this assumption is known to not be true -- features extracted from low-contrast regions of images exhibit wider error distributions than features from sharp corners. Furthermore, V-SLAM algorithms are prone to catastrophic tracking failures when sensed images include challenging conditions such as specular reflections, lens flare, or shadows of dynamic objects. To address such failures, previous work has focused on building more robust visual frontends, to filter out challenging features. In this paper, we present introspective vision for SLAM (IV-SLAM), a fundamentally different approach for addressing these challenges. IV-SLAM explicitly models the noise process of reprojection errors from visual features to be context-dependent, and hence non-i.i.d. We introduce an autonomously supervised approach for IV-SLAM to collect training data to learn such a context-aware noise model. Using this learned noise model, IV-SLAM guides feature extraction to select more features from parts of the image that are likely to result in lower noise, and further incorporate the learned noise model into the joint maximum likelihood estimation, thus making it robust to the aforementioned types of errors. We present empirical results to demonstrate that IV-SLAM 1) is able to accurately predict sources of error in input images, 2) reduces tracking error compared to V-SLAM, and 3) increases the mean distance between tracking failures by more than 70% on challenging real robot data compared to V-SLAM.

연구 동기 및 목표

• 재투영 오차가 동일한 분포를 따른다는 V-SLAM의 가정이 그림자, 반사, 저대비 질감 등의 실제 환경 조건에서 성립하지 않는 문제를 해결한다.
• 손으로 수작업한 히ュ리스틱나 의미적 세그멘테이션에 의존하는 특징 필터링 방식을 넘어, 영상 맥락에서 실패 원인을 자율적으로 학습함으로써 악성 특징을 제거한다.
• 통합 최대우도 추정에 학습된 맥락 의존 노이즈 모델을 통합하여 SLAM의 강인성과 정확도를 향상시킨다.
• 학습 데이터에 실패 원인에 대한 수동 레이블링이 필요 없이 자율적 감독을 통해 실패 예측을 가능하게 한다.

제안 방법

• 딥 네URAL 네트워크를 학습하여 영상 맥락 기반 특징 신뢰도를 예측함으로써, 그림자, 반사, 고주파 질감 등의 오류 원인을 식별한다.
• SLAM 최적화의 일관성을 활용하여 가짜 레이블을 생성하는 가분산 가능한 손실 함수를 통해 자기지도 학습 감독을 실시한다.
• 이질적 노이즈를 명시적으로 고려하는 맥락 인식 노이즈 모델을 구축하며, 불안정한 영역에서 유래한 특징에 대해 높은 불확실성 값을 할당한다.
• 학습된 노이즈 모델을 SLAM의 통합 최대우도 추정에 통합하여, 예측된 신뢰도에 따라 특징의 영향력을 조정한다.
• 예측된 노이즈가 낮은 영역을 우선적으로 탐색하여 특징 추출을 동적으로 이끌어, 매칭 이전에 입력 특징의 품질을 향상시킨다.
• 프레임 간 시간적 일관성을 활용하여 실패 예측을 정교화하고, 운영 중 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 수동 레이블링이 없이 자기지도 학습 모델이 시각 SLAM의 실패 원인을 정확히 예측할 수 있는가?
• RQ2 맥락 인식 노이즈 모델은 실제 환경의 V-SLAM 시스템에서 추적 정확도와 실패 내성에 어떻게 기여하는가?
• RQ3 기본 V-SLAM 대비 IV-SLAM은 추적 오차를 얼마나 줄이고 실패 간 평균 거리를 얼마나 증가시키는가?
• RQ4 내성적 모델은 렌즈 플레어나 동적 그림자와 같은 예측되지 않은 실패 유형으로 일반화 가능한가?
• RQ5 SLAM 최적화에 학습된 신뢰도 점수를 통합하면 전체 궤적 추정 성능이 향상되는가?

주요 결과

• IV-SLAM은 실제 데이터셋에서 ORB-SLAM 대비 이동 오차를 35% 감소시키고, 실패 간 평균 거리(MDBF)를 70% 이상 증가시켰다.
• 모델은 그림자, 반사, 렌즈 플레어 등의 실패 원인을 정확히 예측하며, 그림 6의 초록/빨간 점은 각각 예측된 신뢰성 있는 특징과 불안정한 특징을 나타낸다.
• 시뮬레이션 환경에서 IV-SLAM은 ORB-SLAM 대비 이동 오차를 35% 감소시키고 MDBF를 35% 증가시켰다.
• ORB-SLAM이 움직이는 그림자와 반사 특징으로 인해 치명적인 실패를 겪는 상황에서도 IV-SLAM은 로봇의 궤적 추적을 성공적으로 수행했다.
• 학습된 노이즈 모델은 모호한 질감(예: bitumen, 식생) 및 동적 물체에서 유래한 특징을 효과적으로 가중치를 낮춰 강인성을 향상시켰다.
• 자기지도 학습 기반 학습 방식은 지도가 없는 데이터 기반 실패 패tern을 학습할 수 있어 확장성과 자율성을 입증했다.