[논문 리뷰] Localizing Discriminative Visual Landmarks for Place Recognition

Zhe Xin, Yinghao Cai외 6명|arXiv (Cornell University)|2019. 04. 14.

Advanced Image and Video Retrieval Techniques참고 문헌 22인용 수 7

한 줄 요약

이 논문은 이미지 수준의 애너테이션만을 사용하여 건물과 식생과 같은 분류 능력이 뛰어난 시각적 랜드마크를 식별하는 약한 감독형 랜드마크 국지화 네트워크(LLN)를 제안한다. LLN은 활성도 맵을 생성하여 핵심 영역을 강조함으로써 더 정확한 유사도 매칭을 가능하게 하며, 외관과 시점 변화가 심한 어려운 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We address the problem of visual place recognition with perceptual changes. The fundamental problem of visual place recognition is generating robust image representations which are not only insensitive to environmental changes but also distinguishable to different places. Taking advantage of the feature extraction ability of Convolutional Neural Networks (CNNs), we further investigate how to localize discriminative visual landmarks that positively contribute to the similarity measurement, such as buildings and vegetations. In particular, a Landmark Localization Network (LLN) is designed to indicate which regions of an image are used for discrimination. Detailed experiments are conducted on open source datasets with varied appearance and viewpoint changes. The proposed approach achieves superior performance against state-of-the-art methods.

연구 동기 및 목표

• 조명, 날씨, 시점 변화와 같은 심각한 인지적 변화가 발생하는 상황에서의 시각적 장소 인식 문제를 해결한다.
• 전체 특징(시점에 민감함)과 기존 국소 특징(분류 능력이 떨어지는 선택 부족)의 한계를 극복한다.
• 장소 식별에 기여하는 바가 큰 유일무이한 시각적 랜드마크—예를 들어 건물과 식생—만을 식별하고 국지화한다.
• 비용이 많이 드는 영역 수준의 애너테이션을 피하기 위해 이미지 수준의 애너테이션만 필요한 약한 감독 방법을 개발한다.
• ORB-SLAM에 랜드마크 국지화를 통합하여 장기적인 로봇 자율주행에서 재국소화 성능을 향상시킨다.

제안 방법

• 특징 맵 내 각 국소 특징의 활성도를 나타내는 공간적 활성도 맵을 출력하는 랜드마크 국지화 네트워크(LLN)를 설계한다.
• 삼중체 손실을 사용한 거리 기반 학습을 통해 엔드 투 엔드로 LLN을 훈련시켜, 다른 장소 간의 유사도를 극대화하고 같은 장소 내의 유사도를 최소화한다.
• 학습 중 어려운 음성 샘플에 집중하기 위해 하드 음성 마이닝을 적용하여, 외관 변화 상황에서도 일반화 능력을 향상시킨다.
• 활성도 맵에서 상위-k의 선명한 영역(랜드마크)을 추출하여 국소 특징을 추출하고 이미지 매칭에 활용한다.
• 오직 분류 능력이 뛰어난 랜드마크 간에만 교차 매칭을 수행함으로써 배경이나 모호한 영역에서 발생하는 오류 양성률을 줄인다.
• 키프레임 검색과 매칭을 랜드마크 제약 매칭(pLLN+mLLN)으로 대체하여 ORB-SLAM에 방법을 통합함으로써 자세 추정의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 경계 상자나 세그멘테이션 애너테이션 없이도 약한 감독형 딥 러닝 모델이 분류 능력이 뛰어난 시각적 랜드마크를 효과적으로 국지화할 수 있는가?
• RQ2 건물, 식생 등과 같은 가장 대표적인 이미지 영역만 국지화할 경우, 외관 및 시점 변화에 대한 강건성이 어떻게 향상되는가?
• RQ3 심각한 환경 변화 상황에서 랜드마크 기반 매칭이 전반적 특징 매칭 및 기존의 bag-of-words 방법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 제안된 방법이 ORB-SLAM과 같은 기존 SLAM 시스템에 효과적으로 통합되어 재국소화 성능을 향상시킬 수 있는가?
• RQ5 랜드마크 국지화의 계산 비용은 전체 이미지 매칭과 비교해 어떻게 되며, 높은 정확도를 유지하는가?

주요 결과

• 제안된 LLN 방법은 외관과 시점 변화가 심한 벤치마크 데이터셋에서 최신 기술 수준의 방법들을 능가하는 뛰어난 성능을 달성한다.
• ORB-SLAM 내 pLLN+mLLN 변종은 기준선 pDBoW+mDBoW 방법 대비 재국소화 성공률을 약 두 배로 향상시킨다.
• LLN을 통한 랜드마크 추출은 이미지당 단지 16ms가 소요되며, 랜드마크 매칭은 전체 이미지 매칭보다 훨씬 빠르게 이루어진다(75개 랜드마크 기준 13ms 대비 46ms), 이는 높은 효율성을 보여준다.
• 이 방법은 건물과 식생과 같은 분류 능력이 뛰어난 영역을 효과적으로 국지화하며, 이는 다양한 조명, 날씨 및 계절 조건에서도 안정성을 유지한다.
• 영역 제약 조건이 적용된 상태에서도 ORB 특징은 여전히 인지적 변화에 민감하여, 개선된 후보 선택에도 불구하고 6-DOF 자세 추정의 강건성은 제한된다.
• 훈련 중에 오직 이미지 수준의 애너테이션만 사용함으로써, 비용이 많이 드는 인스턴스 수준의 애너테이션 없이도 일반화되고 이식 가능한 시각적 랜드마크를 학습할 수 있다.