[논문 리뷰] MILD: Multi-Index hashing for Loop closure Detection

Lei Han, Lu Fang|arXiv (Cornell University)|2017. 02. 28.

Algorithms and Data Compression인용 수 4

한 줄 요약

MILD는 백과사전 기반 표현을 사용하지 않고 직접 특징 매칭을 통해 효율적이고 고재현율을 달성하는 실시간 루프 닫기 탐지 시스템을 제안한다. 이는 다중 색인 해싱(MIH)을 사용하여 이미지 유사도 매칭을 실현하며, SIFT/SURF 및 이진 특징 기반 방법보다 빠른 속도와 높은 재현율(최대 94.5%)을 달성한다. 평균 35ms의 낮은 지연 시간으로 상태의 정확도를 확보한다.

ABSTRACT

Loop Closure Detection (LCD) has been proved to be extremely useful in global consistent visual Simultaneously Localization and Mapping (SLAM) and appearance-based robot relocalization. Methods exploiting binary features in bag of words representation have recently gained a lot of popularity for their efficiency, but suffer from low recall due to the inherent drawback that high dimensional binary feature descriptors lack well-defined centroids. In this paper, we propose a realtime LCD approach called MILD (Multi-Index Hashing for Loop closure Detection), in which image similarity is measured by feature matching directly to achieve high recall without introducing extra computational complexity with the aid of Multi-Index Hashing (MIH). A theoretical analysis of the approximate image similarity measurement using MIH is presented, which reveals the trade-off between efficiency and accuracy from a probabilistic perspective. Extensive comparisons with state-of-the-art LCD methods demonstrate the superiority of MILD in both efficiency and accuracy.

연구 동기 및 목표

• 백과사전 표현에서의 열악한 클러스터링으로 인한 이진 특징 기반 루프 닫기 탐지의 낮은 재현율 문제를 해결한다.
• SIFT/SURF 기반 방법의 높은 계산 비용을 완화하면서도 높은 정확도를 유지한다.
• 대부분의 이전 방법이 단일 루프 닫기만을 가정하는 것과 달리, 쿼리 이미지당 다중 루프 닫기를 지원하는 실시간 루프 닫기 탐지를 가능하게 한다.
• 정확도와 계산 복잡도의 균형을 잡는 효율적인 근사 유사도 측정 기법으로 MIH를 개발한다.
• MIH 기반 유사도 근사의 이론적 확률 분석을 제공하여 파rameter 설정을 안내하고 안정적인 성능을 보장한다.

제안 방법

• 기존의 백과사전 표현을 이진 ORB 특징을 사용한 직접 특징 매칭으로 대체한다.
• 이진 특징 기술자를 색인화하기 위해 다중 색인 해싱(MIH)을 적용하여 빠른 근사 최근접 이웃 검색을 가능하게 한다.
• 이진 기술자의 부분 문자열(각각 16비트의 16개 부분)을 사용해 다중 해시 테이블을 구성하여 검색 효율을 향상시킨다.
• MIH 기반 유사도 점수에 베이지안 추론을 적용하여 루프 닫기 후보를 선택하고 신뢰도 임계치를 통합한다.
• 해밍 거리 임계치(d₀ = 60)와 루프 닫기 확률 임계치(P₀ = 0.7)를 설정하여 후보를 필터링한다.
• 충돌 빈도가 높은 해시 항목을 제거하여 정확도 손실 없이 메모리 및 계산 오버헤드를 감소시킨다.

실험 결과

연구 질문

• RQ1 다중 색인 해싱(MIH)을 통해 백과사전 표현에 의존하지 않고 고정확도의 실시간 루프 닫기 탐지를 가능하게 할 수 있는가?
• RQ2 MIH 기반 이미지 유사도 근사에서 정확도와 효율성의 상호 간 균형은 어떻게 이루어지며, 이는 이론적으로 어떻게 분석될 수 있는가?
• RQ3 MILD는 쿼리 이미지당 다중 루프 닫기를 탐지할 수 있으며, 이는 이전 연구에서 일반적으로 가정하는 단일 루프 닫기와 어떻게 비교되는가?
• RQ4 MILD의 재현율과 지연 시간은 최신 SIFT/SURF 및 이진 특징 기반 방법과 비교해 어떻게 되는가?
• RQ5 MILD의 메모리 및 계산 자원 소비는 얼마나 되며, 이는 모바일 또는 임베디드 장치에 구현 가능한가?

주요 결과

• MILD는 NewCollege 데이터셋에서 87.3%의 재현율, Lip6Indoor 데이터셋에서 94.5%의 재현율을 기록하여 BOBW(30.6% 및 41.9%)와 IBuILD(38% 및 25.5%)보다 정확도에서 뛰어나다.
• MILD는 평균적으로 각 이미지 처리에 35ms가 소요되며, RTABMAP(700ms)과 Angeli(753ms)보다 빠르게 처리하면서도 그들의 재현율을 유지하거나 초월한다.
• SIFT/SURF 기반 방법(예: RTABMAP에서 98% 재현율)과 유사한 높은 정확도를 확보했지만, 지연 시간은 20배 이상 낮췄다.
• 메모리 사용량은 극히 적은 편으로, NewCollege 데이터셋 기준 84MB이며, 이는 모바일 및 임베디드 장치에의 구현에 적합하다.
• MIH 기반 유사도 근사에 대한 이론적 분석은 정확도와 복잡도 간의 명확한 상충 관계를 보여주었으며, 이는 실증 결과로도 검증되었다.
• MILD는 쿼리 이미지당 다중 루프 닫기를 성공적으로 탐지하여, 반복적인 환경에서의 복잡한 시나리오에서도 뛰어난 강건성을 입증했다.