[논문 리뷰] Laser map aided visual inertial localization in changing environment

Xiaqing Ding, Yue Wang외 4명|arXiv (Cornell University)|2018. 03. 03.

Robotics and Sensor-Based Localization참고 문헌 24인용 수 5

한 줄 요약

이 논문은 하이브리드 밸런싱 조정을 사용하여 시각 인ert리얼 오ド메트리 상태와 사전 LiDAR 지ap에 대한 자세 정렬을 동시에 최적화하는 레이저 지도 보조 시각 인ert리얼 현지화 프레임워크를 제안한다. 이는 환경 변화가 있는 상황에서의 강건성을 크게 향상시킨다. 다중 세션 데이터 융합을 통해 주목할 만한, 압축된 레이저 지도를 추출함으로써, 고정된 방법 또는 전체 지도 방법 대비 오차를 최대 49%까지 감소시켜, 교차 계절, 双방향 외부 현지화에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Long-term visual localization in outdoor environment is a challenging problem, especially faced with the cross-seasonal, bi-directional tasks and changing environment. In this paper we propose a novel visual inertial localization framework that localizes against the LiDAR-built map. Based on the geometry information of the laser map, a hybrid bundle adjustment framework is proposed, which estimates the poses of the cameras with respect to the prior laser map as well as optimizes the state variables of the online visual inertial odometry system simultaneously. For more accurate cross-modal data association, the laser map is optimized using multi-session laser and visual data to extract the salient and stable subset for localization. To validate the efficiency of the proposed method, we collect data in south part of our campus in different seasons, along the same and opposite-direction route. In all sessions of localization data, our proposed method gives satisfactory results, and shows the superiority of the hybrid bundle adjustment and map optimization.

연구 동기 및 목표

• 계절적 변화와 동적 요소가 있는 외부 환경에서 장기적인 시각 현지화의 과제를 해결한다.
• 외관 변화와 반정적 객체로 인한 세션 간 데이터 연계 성능 열악함을 해결한다.
• 사전에 구축된 LiDAR 지도를 활용하여 성능을 향상시키는 강건하고 저비용의 현지화 프레임워크를 개발한다.
• 다중 세션 레이저 및 시각 데이터에서 압축된 주목성 있는 부분집합을 추출하여 계산 및 저장 비용을 줄인다.
• 积설, 주차 차량, 다양한 조명 조건 등 실제 환경 조건에서도 현지화 정확도와 안정성을 향상시킨다.

제안 방법

• 사전에 구축된 LiDAR 지도를 온라인 시각 인ert리얼 오도메트리(VIO)와 하이브리드 밸런싱 조정 프레임워크를 통해 통합하여, VIO 상태와 레이저 지도에 대한 카메라 자세를 동시에 최적화한다.
• 밸런싱 조정 프레임워크 내에서 시각 지도와 카메라-LiDAR 정렬의 불확실성을 모델링하여 추정의 강건성을 향상시킨다.
• 다중 세션 데이터 마이닝을 적용하여 레이저 및 시각 데이터에서 주목성 있고 안정적인 특징을 식별하고 추출하여, 압축되고 동적 요소가 걸러진 레이저 지도를 구성한다.
• 주파수 기반 하이브리드 밸런싱 조정 전략을 사용하여, 지도 정렬을 위한 비정적(비고정) 및 VIO 상태 정밀화를 위한 정적(고정) 최적화 단계를 번갈아 적용한다.
• 다중 세션 데이터를 활용하여 오프라인으로 레이저 지도를 최적화하여 일시적인 물체를 제거하고 장기적 일관성을 향상시킨다.
• 레이저 지도의 기하학적 특징을 활용하여 시각 특징 매칭을 안내하는 교차 모odal 데이터 연계 전략을 구현한다.

실험 결과

연구 질문

• RQ1 하이브리드 밸런싱 조정 프레임워크는 사전에 구축된 LiDAR 지도에 대한 카메라 자세와 시각 인ert리얼 오도메트리 상태를 동시에 최적화하여 환경 변화가 있는 상황에서 현지화 정확도를 향상시킬 수 있는가?
• RQ2 다중 세션 데이터를 활용한 주목성 기반 지도 최적화는 교차 계절 상황에서 데이터 연계 성능을 향상시키고 현지화 오차를 줄이는 데 어떤 영향을 미치는가?
• RQ3 장기적 현지화에서 정확도와 계산 효율성을 균형 잡기 위해 비정적 및 정적 밸런싱 조정의 최적 주파수는 무엇인가?
• RQ4 다양한 동적 요소와 계절 변화 상황에서 전체 지도 및 고정 방법 대비 제안된 방법의 강건성과 오차 성능은 어떻게 비교되는가?
• RQ5 추출된 주목성 있는 레이저 지도는 저장 및 계산 부담을 줄이면서도 높은 현지화 정확도를 유지할 수 있는가?

주요 결과

• 1:5 주파수(비정적 1회, 정적 5회 조정)로 하이브리드 밸런싱 조정을 적용한 결과, 다섯 세션에서 평균 절대 궤적 오차(ATE)가 0.415 m로 가장 우수했으며, 순수 고정 방법(0.815 m)과 비정적 방법(0.693 m)을 모두 능가했다.
• 2017년 8월 23일 세션에서 전체 지도 고정 방법은 전체 궤적에서 실행에 실패했으나, 필터링된 지도 하이브리드 방법은 ATE 0.315 m를 달성하여 훨씬 뛰어난 강건성을 입증했다.
• 어려운 세션에서 특히 동적 물체와 계절 변화로 인해 성능이 떨어지는 상황에서, 필터링된 지도 방법은 전체 지도 대비 최대 49%의 현지화 오차 감소를 기록했다.
• 주목성 지도 추출 방법은 주차 차량,积설과 같은 일시적 요소를 성공적으로 걸러내어 더 안정적이고 정확한 기준 지도를 제공했다.
• 제안된 방법은 교차 계절 및 양방향 궤적에서 일관되고 낮은 오차율(평균 ATE 0.415 m)을 유지하여 환경 변화에 대한 강건성을 입증했다.
• 적설 지형과 강한 가림 요소가 있는 극한 조건에서도 시각 예시를 통해 안정적인 성능을 유지함을 확인했다.