[論文レビュー] Communication constrained cloud-based long-term visual localization in real time

Xiaqing Ding, Yue Wang+3 more|arXiv (Cornell University)|Mar 10, 2019

Robotics and Sensor-Based Localization参考文献 24被引用数 4

ひとこと要約

本稿では、通信制約下でもリアルタイムでドリフトのないローカライゼーションを実現するクラウドベースのビジュアルローカライゼーションシステムを提案する。オフボードでのローカルポーズ推定とクラウド上の集約仮想サブマップ整合化の2つのスライディングウィンドウアーキテクチャを用いることで、高い遅延、パケット損失、帯域制限がある状況下でも、長期間にわたって安定したローカライゼーションを実現した。このシステムは、季節的で挑戦的なネットワーク環境下でも検証済みである。

ABSTRACT

Visual localization is one of the primary capabilities for mobile robots. Long-term visual localization in real time is particularly challenging, in which the robot is required to efficiently localize itself using visual data where appearance may change significantly over time. In this paper, we propose a cloud-based visual localization system targeting at long-term localization in real time. On the robot, we employ two estimators to achieve accurate and real-time performance. One is a sliding-window based visual inertial odometry, which integrates constraints from consecutive observations and self-motion measurements, as well as the constraints induced by localization on the cloud. This estimator builds a local visual submap as the virtual observation which is then sent to the cloud as new localization constraints. The other one is a delayed state Extended Kalman Filter to fuse the pose of the robot localized from the cloud, the local odometry and the high-frequency inertial measurements. On the cloud, we propose a longer sliding-window based localization method to aggregate the virtual observations for larger field of view, leading to more robust alignment between virtual observations and the map. Under this architecture, the robot can achieve drift-free and real-time localization using onboard resources even in a network with limited bandwidth, high latency and existence of package loss, which enables the autonomous navigation in real-world environment. We evaluate the effectiveness of our system on a dataset with challenging seasonal and illuminative variations. We further validate the robustness of the system under challenging network conditions.

研究の動機と目的

• 外観の変化（例：照明、季節）による性能低下を受けるリアルタイムな長期的ビジュアルローカライゼーションの課題に対処する。
• リソース制限のあるロボットにおけるオンボード処理の限界を克服し、計算負荷をクラウドにオフロードする。
• 高い遅延、パケット損失、帯域制限といった実世界のネットワーク条件に対しても耐性を持つ。
• クラウドベースのグローバルポーズ推定とローカルなビジュアルインertialオドメトリ（VIO）を融合することで、ドリフトのないローカライゼーションを実現する。
• ローカライゼーション精度を維持しながら通信効率を最大化するシステムを設計する。

提案手法

• ロボット上にスライディングウィンドウに基づくビジュアルインエラシャルオドメトリ（VIO）を導入し、連続するフレームとインertシャル測定値を用いてローカルポーズを推定する。
• ロボット上に遅延状態を用いた拡張カルマンフィルタ（EKF）を実装し、クラウドが提供するグローバルポーズ、ローカルVIO、高周波数のIMUデータを融合する。
• ロボット上で仮想観測（ローカルビジュアルサブマップ）を構築し、圧縮・スパース化されたデータとしてクラウドに送信することで帯域使用量を削減する。
• クラウド上に長めのスライディングウィンドウを用いたローカライゼーション手法を実装し、仮想観測を集約することで、マップとの広い視野での整合性を実現する。
• 情報のスパース化技術を適用し、送信データを圧縮・削減することで、低帯域幅ネットワークとの互換性を確保する。
• EKFにネットワークに配慮した補正を組み込み、遅延とパケット損失に対応させ、推定の安定性を維持する。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、顕著な外観変化（例：季節的・照明変化）に強く、リアルタイムで長期的ビジュアルローカライゼーションを実現できるか？
• RQ2 リソース制限のあるロボットが通信制約下でもドリフトのないローカライゼーションを実現するためのシステムアーキテクチャは何か？
• RQ3 クラウドベースのビジュアルローカライゼーションにおいて、ローカライゼーション精度を損なわずにデータ送信量を最小限に抑えるにはどうすればよいか？
• RQ4 実世界の展開において、ネットワークの遅延とパケット損失にどの程度耐性を持てるか？
• RQ5 クラウド上のスライディングウィンドウ長さとローカライゼーションの精度・耐性の最適なバランスは何か？

主な発見

• 本システムは、50%のパケット損失および最大3秒のネットワーク遅延下でも、ドリフトのないリアルタイムなローカライゼーションをロボット上で実現した。
• 70%のパケット損失下でも、ローカライゼーション性能が安定的かつ正確に保たれ、データ損失に対する強い耐性を示した。
• 最大5秒のネットワーク遅延下でも、粗いが使用可能なローカライゼーション結果を提供した。これは、一般的な実世界のネットワーク条件を上回る性能である。
• クラウド側のスライディングウィンドウ長さが40のとき、耐久性と精度の両面で最良のトレードオフを達成しており、短い（10–20）および長い（50）ウィンドウよりも優れた性能を示した。
• 二重スライディングウィンドウアーキテクチャにより、複数の仮想観測を統合して広い視野での整合性を実現し、アライメントの耐久性が著しく向上した。
• 情報のスパース化手法は、データ送信量を効果的に削減しながらもローカライゼーション精度を維持でき、低帯域幅制約を満たした。