[논문 리뷰] InLoc: Indoor Visual Localization with Dense Matching and View Synthesis

Hajime Taira, Masatoshi Okutomi외 6명|arXiv (Cornell University)|2018. 03. 28.

Robotics and Sensor-Based Localization참고 문헌 2인용 수 46

한 줄 요약

InLoc는 Dense CNN 기반 매칭과 가상 뷰 합성을 활용한 대규모 실내 시각 로컬라이제이션 파이프라인으로 도전적인 실내 변화에 robust한 6DoF 포즈 추정을 제시한다. 새로운 데이터셋을 도입하고 최신 방법 대비 상당한 이득을 보인다.

ABSTRACT

We seek to predict the 6 degree-of-freedom (6DoF) pose of a query photograph with respect to a large indoor 3D map. The contributions of this work are three-fold. First, we develop a new large-scale visual localization method targeted for indoor environments. The method proceeds along three steps: (i) efficient retrieval of candidate poses that ensures scalability to large-scale environments, (ii) pose estimation using dense matching rather than local features to deal with textureless indoor scenes, and (iii) pose verification by virtual view synthesis to cope with significant changes in viewpoint, scene layout, and occluders. Second, we collect a new dataset with reference 6DoF poses for large-scale indoor localization. Query photographs are captured by mobile phones at a different time than the reference 3D map, thus presenting a realistic indoor localization scenario. Third, we demonstrate that our method significantly outperforms current state-of-the-art indoor localization approaches on this new challenging data.

연구 동기 및 목표

• 질감이 없고 반복적인 구조를 가진 대규모 실내 환경에서 정확한 6DoF 로컬라이제이션의 도전을 해결하는 것.
• 효율적인 후보 포즈 검색, Dense 특징 기반 포즈 추정, 그리고 뷰 합성을 통한 검증을 결합한 로컬라이제이션 파이프라인을 제안한다.
• 스마트폰 쿼리 이미지와 시간상으로 offset된 참조를 포함하는 현실적인 실내 로컬라이제이션 데이터셋을 생성하고 공개한다.
• Dense 매칭과 뷰 합성 검증이 기존의 실내 로컬라이제이션 방법보다 우수함을 보여준다.

제안 방법

• 희소 특징 부족 문제를 극복하기 위해 그리드에서 CNN에서 추출한 특징(conv5 다음 conv3)을 사용한 코스-투-파인 밀집 매칭으로 포즈 추정을 수행한다.
• NetVLAD 서술자를 사용해 후보 데이터베이스 이미지를 검색하고 RANSAC 내적(Inliers)으로 재랭크하여 후보를 줄인다(상위 10개).
• 데이터베이스 이미지의 깊이 기반 3D 구조를 사용하여 P3P-LO-RANSAC으로 6DoF 포즈를 추정한다.
• 추정된 포즈로 가상의 뷰를 렌더링하고 DenseSIFT/RootSIFT 서술자를 사용해 쿼리와 비교하여 이미지 전반의 긍정적·부정적 증거를 측정, 조명 변화에 강인하게 포즈를 검증한다.
• CNN 특징의 이진화로 메모리를 줄이고 손실을 미미하게 하여 확장 가능한 매칭을 가능하게 한다.
• Baseline(Direct 2D-3D, Disloc, NetVLAD with SparsePE)과 비교 평가하고 구성요소(DensePE, DensePV)를 제거하여 분석한다.

실험 결과

연구 질문

• RQ1 질감이 없는 실내 장면에서 Dense 특징 매칭이 희소 특징 방법에 비해 포즈 추정 성능을 어떻게 개선하는가?
• RQ2 뷰 합성에 의한 포즈 검증이 큰 시점 변화와 조명 변화가 있는 실내 환경에서 로컬라이제이션 정확도에 미치는 영향은 무엇인가?
• RQ3 Dense 매칭과 강건한 검색 및 검증을 결합하면 대규모 실내 데이터에서 기존 최첨단 방법 대비 측정 가능한 이점을 제공하는가?

주요 결과

• InLoc는 새 데이터셋에서 실내 로컬라이제이션의 최첨단 기준선보다 우수한 성능을 보이며, 0.25m, 0.50m, 1.00m 임계값에서 정확히 로컬라이즈된 쿼리의 비율이 크게 증가한다.
• DensePE는 NetVLAD 기반 검색을 사용할 때 희소 특징 매칭에 비해 로컬라이제이션 비율을 약 15% 포인트 향상시킨다.
• 뷰 합성 기반 검증(DensePV)은 특히 위치 정확도가 1.5m 이내인 경우에 상당하고 일관된 개선을 제공한다.
• CNN 특징 이진화는 메모리를 32배 줄이면서 0.5m에서의 성능 손실이 미미하다(<1%).
• Disloc 및 NetVLAD 기준선과 비교할 때 InLoc은 로컬라이제이션 정확도가 현저히 높아 Dense 매칭과 뷰 합성의 이점을 입증한다(예: 0.25m: 38.9% vs 11.9%/21.3%).