[논문 리뷰] Attention-SLAM: A Visual Monocular SLAM Learning from Human Gaze

Jinquan Li, Ling Pei외 6명|arXiv (Cornell University)|2020. 09. 15.

Robotics and Sensor-Based Localization참고 문헌 41인용 수 5

한 줄 요약

이 논문은 인간의 시선에 영감을 받은 시각적 주목 모델(SalNavNet)을 통합하여 특징점의 가중치를 조정함으로써 정확도와 견고성을 향상시키는 단안 시각 SLAM 시스템인 Attention-SLAM을 제안한다. 중심 편향을 완화하고 주목할 만한 물체를 우선시함으로써, Salient Euroc 데이터셋에서 DSO, ORB-SLAM, Salient DSO보다 궤적 정확도와 불확실성 감소 측면에서 뛰어난 성능을 보였다.

ABSTRACT

This paper proposes a novel simultaneous localization and mapping (SLAM) approach, namely Attention-SLAM, which simulates human navigation mode by combining a visual saliency model (SalNavNet) with traditional monocular visual SLAM. Most SLAM methods treat all the features extracted from the images as equal importance during the optimization process. However, the salient feature points in scenes have more significant influence during the human navigation process. Therefore, we first propose a visual saliency model called SalVavNet in which we introduce a correlation module and propose an adaptive Exponential Moving Average (EMA) module. These modules mitigate the center bias to enable the saliency maps generated by SalNavNet to pay more attention to the same salient object. Moreover, the saliency maps simulate the human behavior for the refinement of SLAM results. The feature points extracted from the salient regions have greater importance in optimization process. We add semantic saliency information to the Euroc dataset to generate an open-source saliency SLAM dataset. Comprehensive test results prove that Attention-SLAM outperforms benchmarks such as Direct Sparse Odometry (DSO), ORB-SLAM, and Salient DSO in terms of efficiency, accuracy, and robustness in most test cases.

연구 동기 및 목표

• 시각적 주목에 영감을 받은 인간 같은 주목 메커니즘을 통합하여 단안 SLAM의 정확도와 견고성을 향상시키기.
• 기존 SLAM 시스템이 의미적 관련성이 없더라도 모든 특징을 동일하게 취급하는 한계를 해결하기.
• 정보 이론과 주목 기반 关键 프레임 선택을 통해 자세 추정의 불확실성을 줄이기.
• 주목 지도가 포함된 네트워크 기반 SLAM 평가를 위한 새로운 벤치마크 데이터셋인 Salient Euroc를 구축하기.
• 비항법 목적 데이터셋에서 학습된 주목 모델이 중심 편향으로 인해 항법 작업에서 SLAM 성능을 저하시키는지 조사하기.

제안 방법

• 중심 편향을 줄이고 주목 예측의 시간적 일관성을 향상시키기 위해 상관 모듈과 적응형 지수 이동 평균(EMA)을 갖춘 시각적 주목 모델인 SalNavNet을 제안한다.
• 주목 영역 내 특징점에 더 높은 최적화 가중치를 할당하는 가중 Bundle Adjustment 프레임워크를 도입하여 추적 안정성을 향상시킨다.
• 정보 이론을 활용해 주목 기반 불확실성 감소를 기반으로 한 프레임 선택을 통해 효율성과 정확도를 향상시킨다.
• SalNavNet를 사용하여 원본 Euroc 데이터셋에 주목 지도를 추가하여 새로운 오픈소스 데이터셋인 Salient Euroc를 생성한다.
• 비교를 위해 SalGAN과 SalEMA를 기준 주목 모델로 활용하여 SLAM 환경에서의 성능 차이를 분석한다.
• 주목 지도를 주목 마스크로 활용하여 특징 선택과 최적화를 안내함으로써, 프레임 간 주목 물체의 일관된 추적을 보장한다.

실험 결과

연구 질문

• RQ1 일반 이미지 데이터셋에서 학습된 주목 모델이 항법 작업에 적용되었을 때 단안 SLAM 성능을 실제로 향상시킬 수 있는가?
• RQ2 기존 주목 모델의 중심 편향이 특히 이미지 프레임 내에서 물체가 움직일 때 SLAM 정확도에 어떤 영향을 미치는가?
• RQ3 Bundle Adjustment에 주목 기반 가중치를 통합할 경우, 기존 SLAM 방법에 비해 자세 추정의 불확실성을 줄일 수 있는가?
• RQ4 주목 모델 학습 데이터의 선택이 주목 보강 SLAM 시스템 성능에 어느 정도의 영향을 미치는가?
• RQ5 주목 인식 SLAM 시스템이 ORB-SLAM 및 DSO와 같은 최신 기준 성능을 초월할 수 있는가?

주요 결과

• Attention-SLAM은 대부분의 Euroc 시퀀스에서 DSO, ORB-SLAM, Salient DSO보다 낮은 궤적 오차를 기록했으며, 특히 중간 및 쉬운 난이도 데이터셋에서 두드러진 성능 향상을 보였다.
• SALICON에서 학습된 SalGAN이 DHF1K에서 학습된 SalEMA보다 주목 지도를 더 잘 생성했으며, 이는 SALICON의 중심 편향이 더 약하기 때문이었다. 이는 SalEMA가 LSTM을 사용하고 있음에도 불구하고 성능에서 열등했다.
• SalNavNet은 중심 편향을 효과적으로 완화하고, 물체가 화면 중심에서 가장자리로 이동할 때에도 주목 물체를 일관되게 추적할 수 있도록 했다.
• 정보 이론적 분석을 통해 주목 기반 프레임 선택을 통해 자세 추정의 불확실성을 줄였다는 것이 검증되었다.
• 운동 왜곡과 빠른 회전은 특히 MH04, MH05, V103, V203에서 성능 저하를 초래했으며, 이는 특징 추출이 어려워지고 주목 지도와의 정렬이 어긋나기 때문이다.
• 향후 주목 기반 시각 SLAM 연구를 지원하기 위해 오픈소스로 Salient Euroc 데이터셋을 공개하였다.