[논문 리뷰] Self-localization from Images with Small Overlap

Tanaka Kanji|arXiv (Cornell University)|2016. 03. 03.

Robotics and Sensor-Based Localization참고 문헌 22인용 수 13

한 줄 요약

이 논문은 주로 시각적 겹침이 적거나 전혀 없는 이미지에서의 자기 위치 추정을 위한 확장 가능한 백오브비주얼피처(BoVF) 방법인 PCA-NBNN을 제안한다. 이 방법은 주성분분석(PCA)으로 압축한 DCNN 특징과 단순 베이즈 최근접이웃(NBNN) 거리 측도를 사용한다. 고차원 DCNN 특징과 유사한 성능을 달성하면서도 특히 시각적 겹침이 적은 교차 시점 환경에서 훨씬 더 효율적이다.

ABSTRACT

With the recent success of visual features from deep convolutional neural networks (DCNN) in visual robot self-localization, it has become important and practical to address more general self-localization scenarios. In this paper, we address the scenario of self-localization from images with small overlap. We explicitly introduce a localization difficulty index as a decreasing function of view overlap between query and relevant database images and investigate performance versus difficulty for challenging cross-view self-localization tasks. We then reformulate the self-localization as a scalable bag-of-visual-features (BoVF) scene retrieval and present an efficient solution called PCA-NBNN, aiming to facilitate fast and yet discriminative correspondence between partially overlapping images. The proposed approach adopts recent findings in discriminativity preserving encoding of DCNN features using principal component analysis (PCA) and cross-domain scene matching using naive Bayes nearest neighbor distance metric (NBNN). We experimentally demonstrate that the proposed PCA-NBNN framework frequently achieves comparable results to previous DCNN features and that the BoVF model is significantly more efficient. We further address an important alternative scenario of "self-localization from images with NO overlap" and report the result.

연구 동기 및 목표

• 질의 이미지와 데이터베이스 이미지 간에 시각적 겹침이 적거나 전혀 없는 경우, 즉 이전 연구에서 자주 忽略되는 상황에서 시각적 로봇 자기 위치 추정 문제를 해결한다.
• 시각적 겹침의 정도에 따라 감소하는 함수로 구성된 자기 위치 추정 곤란 지수(LDI)를 도입하여 다양한 난이도 수준에서의 성능을 체계적으로 평가한다.
• 부분적 또는 완전한 시각적 겹침이 없더라도도 분별력을 유지할 수 있는 효율적이고 확장 가능한 BoVF 기반 검색 프레임워크를 개발한다.
• 질의 이미지와 관련 이미지 간에 시각적 겹침이 전혀 없는 극단적인 경우의 자기 위치 추정 가능성과 성능을 탐구한다.

제안 방법

• 주성분분석(PCA)을 통해 차원을 압축하고 효율성을 높인 부분 수준의 DCNN 특징을 활용하여 자기 위치 추정을 백오브비주얼피처(BoVF) 시나리오 검색 과제로 재구성한다.
• 특징의 외부 환경 변화나 부분적 겹침 상황에서도 강건한 교차 도메인 시나리오 매칭을 향상시키기 위해 단순 베이즈 최근접이웃(NBNN) 거리 측도를 적용한다.
• 시각적 특징 대응(VFC) 검증을 통해 시각적 겹침을 추정하고, 일치하는 특징의 수에 기반해 자기 위치 추정 곤란 지수(LDI)를 계산한다.
• 효율적인 색인 및 검색을 위해 100만 개의 어휘를 가진 이진화된 BoVF 표현(bodw20)을 사용하며, 비이진화된 표현과 고차원 DCNN 특징과 비교한다.
• 압축된 128차원 DCNN 특징(bof)을 사용하여 압축 투영 과정에서 발생하는 양자화 손실를 연구하지만, 높은 계산 비용으로 인해 실질적 응용에서는 사용하지 않는다.
• 정답 매칭의 정규화 순위를 통해 성능을 평가하는 바탕으로, 실제 시점과 다양한 겹침 수준을 가진 커스터마이징된 데이터셋에서 실험을 수행한다.

실험 결과

연구 질문

• RQ1 질의 이미지와 데이터베이스 이미지 간의 시각적 겹침이 감소함에 따라 자기 위치 추정 성능은 어떻게 저하되는가?
• RQ2 PCA로 압축하고 이진화한 특징을 사용하는 컴act한 BoVF 모델이 겹침이 적은 자기 위치 추정 과제에서 높은 정확도를 유지할 수 있는가?
• RQ3 외관 변화나 부분적 겹침 상황에서 NBNN 거리 측도가 매칭 강건성을 향상시키는 데 얼마나 효과적인가?
• RQ4 질의 이미지와 관련 이미지 간에 시각적 겹침이 전혀 없는 경우(즉, VFC를 통한 일치 특징이 없는 경우) 자기 위치 추정 성능는 어떠한가?
• RQ5 제안된 PCA-NBNN 프레임워크는 비이진화 또는 고차원 DCNN 특징 대비 효율성과 정확성 간의 우수한 트레이드오프를 달성하는가?

주요 결과

• bodw20(100만 어휘)를 사용한 제안된 PCA-NBNN 방법은 쉬운 자기 위치 추정 과제(순위: 0%–20%)에서 상위 10% 식별률 약 0.9를 달성하며, 비이진화된 DCNN 및 고차원 PCA 특징과 유사한 성능을 보인다.
• 중간 난이도 과제(순위: 0%–50%)에서는 제안된 방법의 성능가 비이진화된 DCNN 특징보다 낮아, 중간 수준의 겹침 상황에서 상대적인 강건성 저하가 나타난다.
• 어려운 자기 위치 추정 과제(순위: 0%–100%)에서는 제안된 bodw20 방법이 비압축 DCNN 특징(dcnn, pca128, pca256, pca512, bodf)와 유사한 상위 10% 식별률을 유지하며, 낮은 겹침 상황에서도 강력한 강건성을 입증한다.
• 시각적 겹침이 전혀 없는 극단적인 경우(NO overlap)에도 제안된 방법은 무작위 확률(y = x/300)을 초월하며, 전반적인 외관과 대기적 유사성으로 인한 잔여 분별력을 보여준다.
• 비이진화된 DCNN 특징보다 훨씬 더 효율적이므로 실시간 또는 자원 제약이 있는 응용 분야에 적합하다.
• VFC 검증에서의 가림과 오류 양성 결과는 주요 오류 원인으로 나타나며, 높은 VFC 점수에도 불구하고 낮은 자기 위치 추정 성능(예: 사례 #4에서 순위 93%)을 보이는 경우에서 명백히 드러난다. 이는 겹침 추정의 한계를 시사한다.