[논문 리뷰] Lightweight Unsupervised Deep Loop Closure

Nate Merrill, Guoquan Huang|arXiv (Cornell University)|2018. 05. 20.

Robotics and Sensor-Based Localization참고 문헌 41인용 수 27

한 줄 요약

이 논문은 레이블이 없는 데이터를 사용하여 원시 이미지에서 외관에 강건한 특징을 학습하기 위해 무작위 사영 변환과 HOG 기반의 감독을 사용하는 경량의 비지도 학습 딥 오토에인커를 제안한다. 이 모델은 정확도와 속도 면에서 최신 기술 수준(SOTA) 성능을 달성하여 자원이 제한된 시스템에서도 실시간 루프 클로징을 가능하게 한다.

ABSTRACT

Robust efficient loop closure detection is essential for large-scale real-time SLAM. In this paper, we propose a novel unsupervised deep neural network architecture of a feature embedding for visual loop closure that is both reliable and compact. Our model is built upon the autoencoder architecture, tailored specifically to the problem at hand. To train our network, we inflict random noise on our input data as the denoising autoencoder does, but, instead of applying random dropout, we warp images with randomized projective transformations to emulate natural viewpoint changes due to robot motion. Moreover, we utilize the geometric information and illumination invariance provided by histogram of oriented gradients (HOG), forcing the encoder to reconstruct a HOG descriptor instead of the original image. As a result, our trained model extracts features robust to extreme variations in appearance directly from raw images, without the need for labeled training data or environment-specific training. We perform extensive experiments on various challenging datasets, showing that the proposed deep loop-closure model consistently outperforms the state-of-the-art methods in terms of effectiveness and efficiency. Our model is fast and reliable enough to close loops in real time with no dimensionality reduction, and capable of replacing generic off-the-shelf networks in state-of-the-art ConvNet-based loop closure systems.

연구 동기 및 목표

• 극도의 외관 변화가 발생하는 대규모 시각 SLAM 시스템에서 강건하고 실시간 루프 클로징 탐지의 과제를 해결한다.
• 대규모 레이블이 있는 데이터셋이 필요로 하거나 추론 속도가 느리거나 차원 축소에 의존하는 기존 컨볼루션 네트워크(ConvNet) 기반 방법의 한계를 극복한다.
• 세분화 없이 다양한 환경에서 잘 일반화되는 컴act하고 효율적이며 비지도 학습된 특징 임bedding 네트워크를 개발한다.
• 더 무거우며 느린 네트워크의 즉시 대체 가능한 솔루션으로 기존 ConvNet 기반 장소 인식 파이프라인에 원활하게 통합할 수 있도록 한다.
• 환경에 특화된 적응 없이 공개된 레이블이 없는 데이터로 사전 훈련된 즉시 사용 가능한 솔루션을 제공하여 실시간 SLAM에 적합한 솔루션을 제공한다.

제안 방법

• 기하학적 불변성과 에지 정보를 활용하여 원시 이미지가 아닌 HOG 기술자를 재구성하는 컨볼루션 오토에인커 아키텍처를 설계한다.
• 입력 이미지를 무작위 사영 변환으로 증강하여 시점 변화를 시뮬레이션하는 덴즈닝 오토에인커 파라다임을 사용해 네트워크를 훈련한다.
• 기하학적 일관성을 강제하고 조명 및 시점 변화에 대한 민감도를 감소시키기 위해 HOG 기술자를 감독 타겟으로 사용한다.
• 레이블이 없는 루프 클로징 쌍이 전혀 필요 없는 대규모 공개 데이터셋에서 비지도 학습 방식으로 네트워크를 훈련한다.
• 실시간 SLAM에서 유사도 검색을 효율적으로 수행하기 위해 인코더의 최종 레이어에서 고정 길이의 컴팩트한 특징 임베딩을 추출한다.
• 더 무거운 특징 추출기(예: AlexNet)를 교체함으로써 기존 장소 인식 파이프라인에 통합하며, 차원 축소 없이도 구현한다.

실험 결과

연구 질문

• RQ1 사영 데이터 증강과 HOG 감독을 사용해 비지도 학습된 딥 오토에인커가 극도의 외관 변화 조건에서도 강건한 루프 클로징을 달성할 수 있는가?
• RQ2 기준 데이터셋에서 제안된 모델이 정밀도, 재현율 및 추론 속도 측면에서 최신 기술 수준(SOTA) 방법과 비교해 어떻게 성능을 내는가?
• RQ3 성능 저하 없이 더 큰 사전 훈련된 분류 네트워크를 실시간 SLAM 시스템에서 대체할 수 있는 정도는 어느 정도인가?
• RQ4 레이블이 없는 데이터나 세분화 없이 다양한 환경(예: 조명, 날씨, 동적 물체 변화)에서도 일반화가 잘 되는가?
• RQ5 루프 기반 또는 통합 기술자 접근 방식을 사용하는 실시간 SLAM 파이프라인에 직접 통합하기에 적합한가?

주요 결과

• 제안된 모델은 극도로 시점과 조도 변화가 심한 과제인 Gardens Point 데이터셋 포함 다양한 기준 데이터셋에서 정밀도와 재현율 면에서 최신 기술 수준(SOTA) 성능을 달성한다.
• 차원 축소가 필요 없이 DBoW2, FAB-MAP 및 컨볼루션 네트워크 기반 시스템과 같은 최신 기술 수준(SOTA) 방법보다 효과성과 추론 속도 면에서 항상 뛰어나다.
• 자연스럽게 컴팩트한 1,064차원 기술자를 갖추고 있어 사전 처리나 특징 압축 없이도 실시간 루프 클로징을 가능하게 한다.
• 통합 실험에서 루프 기반 시스템의 AlexNet 기반 기술자를 제안된 모델로 교체함으로써 성능 향상을 이끌었고, 고비용의 투영 행렬이 필요 없어졌다.
• 비지도 학습 기반의 훈련 체계 덕분에 모델은 레이블이 적거나 도메인 이동이 발생하더라도 쉽게 미세조정 및 확장이 가능하며, 일반화 능력이 뛰어나다.
• 레이블이 없는 데이터로 사전 훈련된 비지도 학습 체계 덕분에 모델은 최소한의 레이블 데이터나 도메인 이동 조건에서도 잘 일반화되며, 쉽게 확장 가능하다.