[논문 리뷰] Scalable Place Recognition Under Appearance Change for Autonomous Driving

Anh-Dzung Doan, Yasir Latif외 4명|arXiv (Cornell University)|2019. 08. 01.

Robotics and Sensor-Based Localization참고 문헌 37인용 수 21

한 줄 요약

이 논문은 외관 변화에 대응하여 정확도를 유지하면서 증가하는 시각 데이터베이스를 효율적으로 재학습하고 압축할 수 있는 확장 가능한 HMM 기반 장소 인식 프레임워크를 제안한다. 이는 MapNet 및 VidLoc와 같은 최신 기술들보다 뛰어난 정확도를 달성하면서 실시간 성능을 유지는 물론, 지속적인 데이터 업데이트 이후에도 유의미한 성능 유지를 보인다.

ABSTRACT

A major challenge in place recognition for autonomous driving is to be robust against appearance changes due to short-term (e.g., weather, lighting) and long-term (seasons, vegetation growth, etc.) environmental variations. A promising solution is to continuously accumulate images to maintain an adequate sample of the conditions and incorporate new changes into the place recognition decision. However, this demands a place recognition technique that is scalable on an ever growing dataset. To this end, we propose a novel place recognition technique that can be efficiently retrained and compressed, such that the recognition of new queries can exploit all available data (including recent changes) without suffering from visible growth in computational cost. Underpinning our method is a novel temporal image matching technique based on Hidden Markov Models. Our experiments show that, compared to state-of-the-art techniques, our method has much greater potential for large-scale place recognition for autonomous driving.

연구 동기 및 목표

• 기상, 조명, 계절 변화 및 도시 환경 변화 등으로 인한 동적 외관 변화 상황에서도 장기적인 장소 인식 도전 과제를 해결하기 위해.
• 지속적으로 증가하는 시각 데이터베이스에도 불구하고 저비용의 계산 부담을 유지할 수 있는 확장 가능한 장소 인식 시스템을 개발하기 위해.
• GNSS나 시각 온도메트리 없이도 효율적인 재학습 및 모델 압축을 가능하게 하기 위해.
• 새로운 데이터를 신속히 통합함으로써 정밀도를 향상시키면서도 외관 변화에 대한 강건성을 유지하기 위해.
• Mapillary 및 Oxford RobotCar와 같은 실제 세계의 지속적으로 확장되는 데이터셋에서의 실용적 타당성을 입증하기 위해.

제안 방법

• 장소 인식의 시간적 순서를 모델링하기 위해 은닉 마르코프 모델(HMM)을 사용하여, 외관 변화 상황에서도 강건한 장소 인식을 가능하게 한다.
• 새로운 위상 감지 압축 절차를 통해 그래프 표현에서 중복된 노드를 제거하고 유사한 장소를 통합함으로써 저장 용량과 계산 부담을 감소시킨다.
• 효율적인 특징 색인화를 위해 k-means 트리를 사용하고, 그래프 기반 매칭을 통해 쿼리 처리 속도를 향상시킨다.
• 프레임워크는 증분 업데이트를 지원한다: 새로운 쿼리 시퀀스는 전체 재학습 없이도 제거 및 노드 통합 절차를 통해 처리된다.
• 신뢰도 점수/최대 가능성 점수(MaxAP)를 사용하여 쿼리 프레임이 새로운 위치로 수용될지 여부를 결정함으로써, 탐색되지 않은 영역의 커버리지 확장을 가능하게 한다.
• 업데이트 과정에서 진짜 자세 정보가 필요 없으며, 대신 신뢰도 기반 선택과 위상 일관성을 기반으로 한다.

실험 결과

연구 질문

• RQ1 GNSS나 시각 온도메트리에 의존하지 않고도 장기적인 외관 변화 상황에서 높은 정확도를 유지할 수 있는 장소 인식 시스템은 가능한가?
• RQ2 지속적으로 증가하는 데이터셋과 함께 효율적으로 확장되면서도 계산 비용이 안정적인 시각 장소 인식 시스템은 어떻게 설계할 수 있는가?
• RQ3 가벼운 재학습 가능한 프레임워크가 MapNet과 같은 딥러닝 기반 방법보다 정확도와 업데이트 효율성 면에서 뛰어나게 할 수 있는가?
• RQ4 위상적 압축은 대규모 장소 인식에서 확장성과 계산 오버헤드를 어느 정도 향상시킬 수 있는가?
• RQ5 신뢰도 기반의 새로운 쿼리 프레임 수용은 탐색되지 않은 영역에서 효과적인 지도 확장을 가능하게 하는가?

주요 결과

• 우리 방법은 Oxford RobotCar 데이터셋의 Seq-3에서 평균 6-DoF 자세 오차 6.59m와 3.28°를 기록하여, MapNet(8.71m, 3.31°)과 VidLoc(29.63m, 1.59°)를 모두 능가한다.
• Seq-8에 대해서는 평균 오차 24.26m와 21.54°를 기록하여, 노이즈가 많은 레이블로 재학습한 MapNet(26.55m, 21.97°)보다 유의미하게 뛰어나다.
• 우리 방법의 학습 시간은 시퀀스당 약 1.65분이며, MapNet의 11.6시간과 VidLoc의 14.1시간에 비해 훨씬 뛰어난 학습 효율성을 보였다.
• 새로운 쿼리 시퀀스를 업데이트하는 데에는 우리의 제거 및 압축 파이프라인을 사용해 5분 이내로 처리 가능하며, MapNet은 약 6시간의 재학습이 필요하다.
• 그림 4에 시각화된 바와 같이, MaxAP ≥ 0.3를 만족하는 새로운 프레임을 수용함으로써, 탐색되지 않은 영역의 지도 커버리지가 성공적으로 확장되었다.
• MapNet에 비해 우리 방법은 더 매끄러운 예측 궤적을 보이며, 외관 변화 상황에서도 더 뛰어난 일관성 있는 정밀도를 유지함을 시사한다.