[논문 리뷰] Communication constrained cloud-based long-term visual localization in real time

Xiaqing Ding, Yue Wang외 3명|arXiv (Cornell University)|2019. 03. 10.

Robotics and Sensor-Based Localization참고 문헌 24인용 수 4

한 줄 요약

이 논문은 통신 제약 조건 하에서도 실시간으로 드리프트 없는 로컬라이제이션을 가능하게 하는 클라우드 기반 시각적 로컬라이제이션 시스템을 제안한다. 차량 내부의 로컬 포즈 추정을 위한 슬라이딩 윈도우와 클라우드 상의 가상 서브맵 정렬을 위한 집계된 윈도우를 결합한 이중 슬라이딩 윈도우 아키텍처를 통해, 고지연, 패킷 손실, 제한된 대역폭 조건에서도 강력한 장기적 로컬라이제이션 성능을 달성하였으며, 계절적 변화와 도전적인 네트워크 환경에서 검증되었다.

ABSTRACT

Visual localization is one of the primary capabilities for mobile robots. Long-term visual localization in real time is particularly challenging, in which the robot is required to efficiently localize itself using visual data where appearance may change significantly over time. In this paper, we propose a cloud-based visual localization system targeting at long-term localization in real time. On the robot, we employ two estimators to achieve accurate and real-time performance. One is a sliding-window based visual inertial odometry, which integrates constraints from consecutive observations and self-motion measurements, as well as the constraints induced by localization on the cloud. This estimator builds a local visual submap as the virtual observation which is then sent to the cloud as new localization constraints. The other one is a delayed state Extended Kalman Filter to fuse the pose of the robot localized from the cloud, the local odometry and the high-frequency inertial measurements. On the cloud, we propose a longer sliding-window based localization method to aggregate the virtual observations for larger field of view, leading to more robust alignment between virtual observations and the map. Under this architecture, the robot can achieve drift-free and real-time localization using onboard resources even in a network with limited bandwidth, high latency and existence of package loss, which enables the autonomous navigation in real-world environment. We evaluate the effectiveness of our system on a dataset with challenging seasonal and illuminative variations. We further validate the robustness of the system under challenging network conditions.

연구 동기 및 목표

• 외관 변화(예: 조도, 계절 변화 등)로 성능이 저하되는 실시간 장기적 시각적 로컬라이제이션 문제를 해결한다.
• 자원 제약이 있는 로봇의 차량 내 처리 한계를 극복하기 위해 계산 부담을 클라우드로 이관한다.
• 고지연, 패킷 손실, 제한된 대역폭 등의 실제 네트워크 조건에서도 강건성을 확보한다.
• 클라우드 기반 전역 포즈 추정과 로컬 시각-자이로스코픽 온도메트리(visual-inertial odometry)를 융합하여 드리프트 없는 로컬라이제이션을 달성한다.
• 로컬라이제이션 정확도를 유지하면서도 데이터 전송을 최소화하는 통신 효율적인 시스템을 설계한다.

제안 방법

• 연속 프레임과 관성 측정치를 이용해 차량 내부에서 슬라이딩 윈도우 기반의 시각-자이로스코픽 온도메트리(VIO)를 구동하여 로컬 포즈를 추정한다.
• 클라우드에서 제공하는 전역 포즈, 로컬 VIO, 고주파 IMU 데이터를 융합하기 위해 차량 내부에서 지연 상태 확장 칼만 필터(EKF)를 사용한다.
• 차량 내에서 가상 관측치(로컬 시각 서브맵)를 구성하고, 압축 및 희소화된 데이터로 압축하여 클라우드로 전송함으로써 대역폭 소비를 줄인다.
• 클라우드에서 더 긴 슬라이딩 윈도우를 사용한 로컬라이제이션 방법을 구현하여 가상 관측치를 집계함으로써 더 넓은 시야각의 정렬을 가능하게 한다.
• 데이터 전송을 압축하고 줄이기 위해 정보 희소화 기법을 적용하여 저대역폭 네트워크 환경과도 호환되도록 한다.
• 지연과 패킷 손실을 고려한 네트워크 인식 보정 기법을 EKF에 통합하여 추정 안정성을 유지한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 실시간으로 심한 외관 변화(예: 계절적, 조도 변화 등)에 강건한 장기적 시각적 로컬라이제이션을 달성할 수 있는가?
• RQ2 자원 제약이 있는 로봇에서 통신 제약 조건 하에서도 드리프트 없는 로컬라이제이션을 가능하게 하는 시스템 아키텍처는 무엇인가?
• RQ3 클라우드 기반 시각적 로컬라이제이션에서 정확도를 희생시키지 않고 데이터 전송을 어떻게 최소화할 수 있는가?
• RQ4 실제 구현 환경에서 시스템은 얼마나 높은 지연과 패킷 손실에 견딜 수 있는가?
• RQ5 클라우드 측의 슬라이딩 윈도우 길이와 정확도 및 강건성 사이의 최적 균형은 무엇인가?

주요 결과

• 시스템은 50%의 패킷 손실과 최대 3초의 네트워크 지연 조건에서도 드리프트 없는 실시간 로컬라이제이션 성능을 확보한다.
• 70%의 패킷 손실 조건에서도 성능이 안정적이고 정확하게 유지되어 데이터 손실에 대한 강력한 내성성을 입증한다.
• 최대 5초의 네트워크 지연 조건에서도 브로드캐스트 수준의 결과를 제공하여 일반적인 실생활 네트워크 조건을 초월한다.
• 클라우드 측 슬라이딩 윈도우 길이 40이 강건성과 정확도 사이의 최적 균형을 이룹니다. 짧은(10–20) 및 긴(50) 윈도우보다 우수한 성능을 보였다.
• 이중 슬라이딩 윈도우 아키텍처는 여러 가상 관측치를 통합하여 더 넓은 시야각의 정렬을 가능하게 하여 정렬 강건성을 크게 향상시킨다.
• 정보 희소화 방법은 데이터 전송을 효과적으로 줄이면서도 정확도를 유지하여 저대역폭 네트워크 조건을 충족시킨다.