[論文レビュー] milliEgo: Single-chip mmWave Radar Aided Egomotion Estimation via Deep Sensor Fusion

Chris Xiaoxuan Lu, Muhamad Risqi U. Saputra+7 more|arXiv (Cornell University)|Jun 3, 2020

Robotics and Sensor-Based Localization被引用数 15

ひとこと要約

milliEgo は、単一チップ mmWave レーダーと IMU データを深層学習ベースの融合によって統合し、耐障害性が高くリアルタイムな6自由度の自己運動推定を実現するシステムを提案する。3次元軌道誤差のずれは1.3%にまで低減された。本手法は2段階のアテンション機構を採用しており、まずセンサー内特徴の重み付けに自己アテンションを、次に人間の空間的認識にインspiredされたクロスアテンションを用いて mmWave とインertial データを融合する。これにより、困難な環境下でも高精度なポーズ推定が可能となる。

ABSTRACT

Robust and accurate trajectory estimation of mobile agents such as people and robots is a key requirement for providing spatial awareness for emerging capabilities such as augmented reality or autonomous interaction. Although currently dominated by optical techniques e.g., visual-inertial odometry, these suffer from challenges with scene illumination or featureless surfaces. As an alternative, we propose milliEgo, a novel deep-learning approach to robust egomotion estimation which exploits the capabilities of low-cost mmWave radar. Although mmWave radar has a fundamental advantage over monocular cameras of being metric i.e., providing absolute scale or depth, current single chip solutions have limited and sparse imaging resolution, making existing point-cloud registration techniques brittle. We propose a new architecture that is optimized for solving this challenging pose transformation problem. Secondly, to robustly fuse mmWave pose estimates with additional sensors, e.g. inertial or visual sensors we introduce a mixed attention approach to deep fusion. Through extensive experiments, we demonstrate our proposed system is able to achieve 1.3% 3D error drift and generalizes well to unseen environments. We also show that the neural architecture can be made highly efficient and suitable for real-time embedded applications.

研究の動機と目的

• 視認性が低い、または特徴のない屋内空間など、光学センサが機能しない環境における正確な自己運動推定の課題に対処すること。
• 単一チップ mmWave レーダーが生成する低解像度でスパarsな点群データの限界を克服し、従来の点群登録手法が脆弱になる問題を解決すること。
• mmWave レーダーとインertial および他のセンサを統合する、耐障害性がありエンドツーエンドの深層学習フレームワークを開発すること。
• モバイルデバイスやマイクロロボットなどの低消費電力プラットフォームに、リアルタイムで埋め込み可能な自己運動推定を実現すること。
• 人間の空間的認識モデルにインspiredされた、新たな2段階アテンション機構を導入し、異なるセンサ間の相補的挙動をモデル化することで、センサーフュージョンの性能を向上させること。

提案手法

• 従来の脆弱な点群登録を回避するため、生または事前処理済みの mmWave ポイントクラウドから直接6自由度のポーズ変換を回帰する専用の mmWave オドメトリサブネットを提案する。
• 2段階アテンション機構を導入する：まず、mmWave と IMU の各センサモダリティ内での関連特徴を重みづけする自己アテンションを適用し、次にセンサ間の依存関係をモデル化するクロスアテンションを適用する。
• クロスアテンション層は、スペンスの空間的認識モデルにインspiredされており、動的で説明可能な統合を実現し、mmWave とインertial センサ間の相補的情報を強調する。
• 空間的および時間的特徴を mmWave とインertial データから処理するため、畳み込みとトランスフォーマーの両方を組み合わせたハイブリッドアーキテクチャを採用する。
• 実世界の軌道データをハンディデバイスやロボットから収集し、教師あり学習を用いてネットワーク全体をエンドツーエンドで訓練する。
• Jetson TX2 などの埋め込みプラットフォームでリアルタイム推論を最適化し、モバイルおよびウェアラブルアプリケーションへの適性を確保する。

実験結果

リサーチクエスチョン

• RQ1 従来の点群登録に依存せずに、低解像度でスパarsな mmWave レーダー点群から、深層ニューラルネットワークが自己運動推定を効果的に学習できるか？
• RQ2 mmWave レーダーとインエントシャルデータを、困難な環境下でも耐障害性と精度を高める方法で統合できるか？
• RQ3 自己アテンションとクロスアテンションを組み合わせた2段階アテンション機構は、mmWave ベースのオドメトリにおいて、既存手法よりも性能を向上させられるか？
• RQ4 提案されたシステムは、未観測の屋内環境や実世界のモバイルプラットフォームへどの程度一般化できるか？
• RQ5 エンドツーエンドの統合フレームワークは、低消費電力の埋め込みシステムに効率的にデプロイ可能で、リアルタイム動作が可能か？

主な発見

• milliEgo は、長時間のシーケンスにおいて3次元軌道誤差ずれがわずか1.3%に抑えられ、屋内およびハンディデバイスの両シナリオでベースライン手法を顕著に上回った。
• 本システムは未観測の環境に対しても良好に一般化し、オフィス、通路、商業施設など多様な屋内環境で耐障害性を示した。
• 2段階アテンション機構、特にクロスアテンション層が、統合性能を向上させ、より説明可能で行動的に一貫したセンサ相互作用を実現した。
• ニューラルアーキテクチャは非常に効率的であり、リアルタイムの埋め込みデプロイメントに適しており、Jetson TX2 プラットフォームへの成功実装が得られた。
• 深層学習による mmWave レーダーと IMU のエンドツーエンド統合は、選択的統合（SelectiveFusion）や DeepTIO などの既存手法を、精度と耐障害性の両面で上回った。
• 視認性が低い環境や特徴のない表面の下でも、高精度を維持でき、視覚的インエントシャルオドメトリが通常失敗する条件下でも優れた性能を発揮した。