[논문 리뷰] Visual Localization Using Semantic Segmentation and Depth Prediction

Huanhuan Fan, Yuhao Zhou외 4명|arXiv (Cornell University)|2020. 05. 25.

Advanced Vision and Imaging참고 문헌 32인용 수 7

한 줄 요약

이 논문은 단안 시각적 위치 추정 파이프라인을 제안하며, 의미적 세그멘테이션, 깊이 예측 및 향상된 특징 매칭을 통합하여 정확도와 견고성을 향상시킨다. 의미 일관성 가중치(semantic consistency weighting, SCW), 의미 일관성 검사(semantic consistency check, SCC), 깊이 일관성 검증(depth consistency verification, DCV), 및 가중치가 부여된 RANSAC 기법을 통해 잘못된 매칭과 이방값을 크게 줄이며, Long-Term Visual Localization 2020 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we propose a monocular visual localization pipeline leveraging semantic and depth cues. We apply semantic consistency evaluation to rank the image retrieval results and a practical clustering technique to reject estimation outliers. In addition, we demonstrate a substantial performance boost achieved with a combination of multiple feature extractors. Furthermore, by using depth prediction with a deep neural network, we show that a significant amount of falsely matched keypoints are identified and eliminated. The proposed pipeline outperforms most of the existing approaches at the Long-Term Visual Localization benchmark 2020.

연구 동기 및 목표

• 대규모 시점 및 조명 변화가 있는 조건에서 단안 시각적 위치 추정에서 정확하지 못한 이미지 검색 및 잘못된 키포인트 매칭 문제를 해결하기 위해.
• 의미적 및 깊이 정보를 활용하여 일관되지 않은 매칭을 걸러내어 6-DoF 자세 추정 성능을 향상시키기 위해.
• 의미 일관성과 적응형 임계값을 활용하여 RANSAC 기반의 이방값 제거의 견고성을 향상시키기 위해.
• R2D2와 SuperPoint와 같은 다수의 딥 레이어 기반 특징 추출기 조합이 위치 추정 성능 향상에 기여하는지 실험하기 위해.

제안 방법

• 의미 일관성 가중치(semantic consistency weighting, SCW)를 제안하여 일관된 의미 레이블을 가진 매칭 키포인트 비율에 기반해 이미지 검색 결과를 재정렬한다.
• 의미 일관성 검사(semantic consistency check, SCC)를 도입하여 매칭된 키포인트의 의미 레이블을 비교함으로써 잘못된 매칭을 확인하고 제거한다.
• 적응형 순서 비용(adaptive ordinal cost, AOC)을 사용해 신경망에서 예측한 깊이와 3D 점에서 추정한 깊이를 비교함으로써 깊이 일관성 검증(depth consistency verification, DCV)을 수행한다. 이는 일관되지 않은 매칭을 식별한다.
• 의미 일관성 점수(SCW)에 기반해 RANSAC 임계값을 동적으로 감소시키는 가중치가 부여된 RANSAC 기법을 사용함으로써 이방값에 대한 견고성을 향상시킨다.
• R2D2와 SuperPoint와 같은 다수의 특징 추출기를 조합하여 신뢰할 수 있는 특징 점의 수를 늘리고 매칭 정확도를 향상시킨다.
• 클러스터링을 통해 이방값 검색 결과를 거부하고, 가중치가 부여된 매칭을 사용해 최종 자세 추정을 수행한다.

실험 결과

연구 질문

• RQ1 매칭된 키포인트 간의 의미 일관성이 시각적 위치 추정에서 이미지 검색 순위를 향상시키고 잘못된 양성 결과를 줄이는 데 기여하는가?
• RQ2 단안 깊이 예측을 활용한 깊이 일관성 검증이 잘못된 키포인트 매칭을 식별하고 제거하는 데 얼마나 효과적인가?
• RQ3 의미 일관성에 적응하는 가중치가 부여된 RANSAC 기법이 자세 추정의 견고성과 정확도를 향상시키는가?
• RQ4 R2D2와 SuperPoint와 같은 학습 기반 특징 추출기의 조합이 단일 특징 기반 접근법에 비해 위치 추정 성능 향상에 얼마나 기여하는가?
• RQ5 의미적 및 깊이 정보의 통합이 장기적 시각적 위치 추정 벤치마크에서 위치 추정 정확도를 상당히 향상시키는가?

주요 결과

• 제안된 파이프라인이 Long-Term Visual Localization 2020 벤치마크에서 최신 기술 수준의 성능을 달성하며, 대부분의 기존 방법을 능가한다.
• 의미 일관성 가중치(SCW)는 매칭된 키포인트의 의미 레이블 일관성을 활용하여 잘못된 이미지 검색 결과를 효과적으로 줄인다.
• SCC와 DCV의 조합은 잘못된 키포인트 매칭을 크게 줄이며, 특히 AOC 기반 적응형 순서 비용을 활용한 깊이 일관성 검증을 통해 일관되지 않은 매칭을 식별한다.
• R2D2와 SuperPoint 특징 추출기를 모두 사용함으로써 신뢰할 수 있는 매칭 수가 증가하여 위치 추정 정확도가 향상된다.
• SCW 기반 적응형 임계값을 갖는 가중치가 부여된 RANSAC 기법은 견고성을 향상시키고 자세 추정 오차를 감소시킨다.
• 호모지어피 결과의 클러스터링은 이방값 검색 결과를 거부하는 데 기여하며, 파이프라인의 신뢰성을 추가로 향상시킨다.