[논문 리뷰] Online Mutual Adaptation of Deep Depth Prediction and Visual SLAM

Shing Yan Loo, Moein Shakeri외 3명|arXiv (Cornell University)|2021. 11. 07.

Robotics and Sensor-Based Localization참고 문헌 29인용 수 4

한 줄 요약

이 논문은 사전 훈련된 CNN을 SLAM에서 생성한 关键帧을 사용하여 온라인으로 미세조정하고, 적응된 깊이 예측을 통해 노이즈 제거 및 글로벌 광학적 보정 조정을 통해 지ap 품질을 향상시킴으로써 단안 깊이 예측과 시각 SLAM을 공동으로 향상시키는 온라인 상호 적응 프레임워크를 제안한다. 이 방법은 재난적 망각을 방지하기 위해 탄성 가중치 통합(Elastic Weight Consolidation, EWC) 정규화를 적용하여 온라인 적응 중에 깊이 오차를 감소시키고, 특히 미리 보지 않은 환경에서 SLAM 정확도를 향상시킨다.

ABSTRACT

The ability of accurate depth prediction by a convolutional neural network (CNN) is a major challenge for its wide use in practical visual simultaneous localization and mapping (SLAM) applications, such as enhanced camera tracking and dense mapping. This paper is set out to answer the following question: Can we tune a depth prediction CNN with the help of a visual SLAM algorithm even if the CNN is not trained for the current operating environment in order to benefit the SLAM performance? To this end, we propose a novel online adaptation framework consisting of two complementary processes: a SLAM algorithm that is used to generate keyframes to fine-tune the depth prediction and another algorithm that uses the online adapted depth to improve map quality. Once the potential noisy map points are removed, we perform global photometric bundle adjustment (BA) to improve the overall SLAM performance. Experimental results on both benchmark datasets and a real robot in our own experimental environments show that our proposed method improves the overall SLAM accuracy. While regularization has been shown to be effective in multi-task classification problems, we present experimental results and an ablation study to show the effectiveness of regularization in preventing catastrophic forgetting in the online adaptation of depth prediction, a single-task regression problem. In addition, we compare our online adaptation framework against the state-of-the-art pre-trained depth prediction CNNs to show that our online adapted depth prediction CNN outperforms the depth prediction CNNs that have been trained on a large collection of datasets.

연구 동기 및 목표

• 사전 훈련된 깊이 예측 CNN을 실세계 시각 SLAM 시스템에 구현할 때 도메인 이동으로 인한 성능 저하 문제를 해결하기 위해.
• 대규모 데이터셋 재훈련이 필요 없이 SLAM 피드백을 이용해 깊이 CNN의 온라인 적응을 가능하게 하기 위해.
• 노이즈 있는 지도 포인트를 제거한 후 온라인 적응된 깊이 예측을 글로벌 광학적 보정 조정에 통합하여 SLAM 정확도를 향상시키기 위해.
• 특히 단일 작업 깊이 회귀 모델에 대한 온라인 미세조정 중 재난적 망각을 방지하기 위해 정규화 기법—특히 EWC—의 효과를 조사하기 위해.
• 장시간 시퀀스에서 상태 기반 사전 훈련된 모델을 초월하는 깊이 정확도와 SLAM 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 프레임워크는 두 단계를 번갈아 수행한다: (1) SLAM을 사용해 관건 프레임을 추출하고 깊이 예측 품질을 평가하며, (2) 예측 오차가 임계값을 초과할 경우 이 프레임을 기반으로 깊이 CNN을 미세조정한다.
• 글로벌 광학적 보정 조정을 수행하기 전에 온라인 적응된 깊이 예측을 사용해 노이즈 있는 3D 지도 포인트를 제거하여 카메라 추적 및 지도 재구성 정확도를 향상시킨다.
• 온라인 미세조정 중에 CNN을 정규화하기 위해 탄성 가중치 통합(Elastic Weight Consolidation, EWC)을 적용하며, 피셔 정보 행렬을 통해 매개변수 중요도를 측정함으로써 이전에 학습한 지식을 유지한다.
• 이 방법은 새로운 데이터에 대한 광학 재구성 손실과 중요한 매개변수의 큰 변화를 방지하는 EWC 정규화 항을 조합한 하이브리드 손실을 사용한다.
• 프레임워크는 벤치마크 데이터셋과 실세계 로봇 배포를 모두 활용해 평가되며, 사전 훈련된 깊이 모델 및 정규화 없이 구현된 아블레이션 변형과의 성능 비교를 수행한다.
• 경험 재생만으로도 효과가 있는지 비교하기 위해 SI 및 MAS와 같은 다른 정규화 방법도 평가하여 온라인 적응 중 망각 방지 능력을 비교한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 깊이 CNN이 시각 SLAM 시스템의 피드백을 활용해 실시간으로 효과적으로 미세조정되어, 미리 보지 않은 환경에서 깊이 예측을 향상시킬 수 있는가?
• RQ2 깊이 CNN의 온라인 적응이 장시간 시퀀스에서 측정 가능한 SLAM 정확도 향상에 기여하는가?
• RQ3 EWC와 같은 정규화 기법이 깊이 예측과 같은 단일 작업 회귀 모델의 온라인 미세조정 중 재난적 망각을 방지하는 데 효과적인가?
• RQ4 온라인 적응된 깊이 예측을 글로벌 보정 조정에 통합할 경우 지도 품질과 카메라 추적 안정성에 어떤 영향을 미치는가?
• RQ5 온라인 적응된 깊이 예측은 깊이 오차와 SLAM 성능 측면에서 최신 사전 훈련된 모델을 초월하는가?

주요 결과

• 제안된 온라인 적응 프레임워크는 SLAM 피드백을 활용해 깊이 예측을 정교화함으로써 실세계 환경에서 SLAM 정확도를 크게 향상시킨다.
• 온라인 적응된 깊이 예측을 사용해 글로벌 광학적 보정 조정 이전에 노이즈 있는 지도 포인트를 제거함으로써 더 정확한 카메라 추적과 향상된 3D 지도 재구성 결과를 달성한다.
• EWC 정규화는 온라인 미세조정 중 재난적 망각을 효과적으로 방지하며, 경험 재생만 사용하는 경우보다 이전 지식을 유지하는 데 뛰어난 성능을 보인다.
• 온라인 적응된 깊이 예측 모델은 특히 장시간 시퀀스에서의 적응이 진행된 후 최신 사전 훈련된 모델보다 더 낮은 깊이 오차를 기록한다.
• 아블레이션 연구는 정규화가 안정적인 온라인 적응을 위해 필수적임을 확인하며, SI 및 MAS는 이 맥락에서 EWC에 비해 유사하거나 略로 떨어지는 성능을 보였다.
• 프레임워크는 다양한 실세계 환경에서 뛰어난 강인성과 적응 능력을 보이며, 여러 평가 지표에서 일관된 향상을 보였다.