[論文レビュー] PRGFlow: Benchmarking SWAP-Aware Unified Deep Visual Inertial Odometry

Nitin J. Sanket, Chahat Deep Singh+2 more|arXiv (Cornell University)|Jun 11, 2020

Robotics and Sensor-Based Localization参考文献 40被引用数 6

ひとこと要約

PRGFlowは、ダウンフォース/アッパー・フォースカメラ、IMU、高度計を用いた、SWAPに配慮した統合的ディープラーニングフレームワークを提示する。これにより、多様な空中ロボットにおいて低遅延で頑健な6DoFの運動推定が可能となる。最適化されたアーキテクチャ、損失関数、ハードウェアに配慮した圧縮を用いたエンドツーエンド学習により、実飛行テストで軌道長の3%未満のRMSEを達成した。

ABSTRACT

Odometry on aerial robots has to be of low latency and high robustness whilst also respecting the Size, Weight, Area and Power (SWAP) constraints as demanded by the size of the robot. A combination of visual sensors coupled with Inertial Measurement Units (IMUs) has proven to be the best combination to obtain robust and low latency odometry on resource-constrained aerial robots. Recently, deep learning approaches for Visual Inertial fusion have gained momentum due to their high accuracy and robustness. However, the remarkable advantages of these techniques are their inherent scalability (adaptation to different sized aerial robots) and unification (same method works on different sized aerial robots) by utilizing compression methods and hardware acceleration, which have been lacking from previous approaches. To this end, we present a deep learning approach for visual translation estimation and loosely fuse it with an Inertial sensor for full 6DoF odometry estimation. We also present a detailed benchmark comparing different architectures, loss functions and compression methods to enable scalability. We evaluate our network on the MSCOCO dataset and evaluate the VI fusion on multiple real-flight trajectories.

研究の動機と目的

• サイズ、重量、電力、面積（SWAP）の制約が厳しい状況下でも、多様な空中ロボットに適した統合的でスケーラブルなディープラーニングベースのビジュアルインエラリアルオドメトリシステムの開発。
• リソース制約のあるプラットフォームにおけるエンドツーエンドディープVIOのための、圧縮、ネットワークアーキテクチャ、損失関数の選択に関する体系的でないベンチマークの欠如に対処する。
• 一般的に利用可能なセンサ（単眼カメラ、IMU、高度計（気圧計/ソナール/レーザー距離計））のみを用いて、頑健でリアルタイムのオドメトリ推定を可能にする。
• 実飛行性能と遅延に基づいて、最適なネットワーク-ハードウェアコンビネーションの選定に関する実用的レファレンスを研究者および実務家に提供する。

提案手法

• IMUで推定された姿勢に基づく回転補正済みの画像フレームを、深層ニューラルネットワークの入力として用い、変位のズーム、スケール、ヨーの変化を予測する。
• 高度計データを活用して予測された変位をメトリック速度にスケーリングし、明示的な深度の教師信号なしでメトリックオドメトリを実現する。
• 予測された運動パラメータの回帰誤差を最小化するため、L2損失を用いた教師あり学習によりネットワークをエンドツーエンドで訓練する。
• 画像フレーム間の幾何変換（変位、スケール、回転）を予測するためのワーピングブロックを採用する。
• 深さ、幅、圧縮技術が異なる複数のアーキテクチャ（VanillaNet、ResNet、SqueezeNet、MobileNet、ShuffleNet）をベンチマークする。
• Jetson TX2、Coral USB、NanoPi Neoを含むハードウェアプラットフォーム上で、推論速度、精度、パラメータ数を評価する。

実験結果

リサーチクエスチョン

• RQ1 小型空中ロボットにおけるリアルタイムVIOにおいて、ネットワークアーキテクチャ、圧縮、推論速度の最適なトレードオフは何か？
• RQ2 異なる損失関数（例：L2）は、実飛行におけるエンドツーエンドディープビジョウオドメトリの精度と頑健性にどのように影響するか？
• RQ3 どのニューラルネットワークアーキテクチャとハードウェアプラットフォームのコンビネーションが、精度、遅延、SWAP効率のバランスを最も良く実現するか？
• RQ4 十分な実世界データのばらつきを用いた教師あり学習は、微調整なしで実飛行にどれほど一般化可能か？
• RQ5 ワーピングブロックの数やネットワークの深さは、パフォーマンスと計算コストにどのように影響するか？

主な発見

• 提案されたPRGFlowフレームワークは、実飛行実験で全軌道長の3%未満のRMSEを達成し、微調整なしでも高い頑健性を示した。
• L2損失を用いた教師あり学習は、特に十分な実世界データのばらつきがある場合、自己教師ありや非教師ありの代替手法よりも顕著に高い精度を達成した。
• パラメータ数が増加するにもかかわらず、メモリアクセスパターンや畳み込み演算の効率性の向上により、より小さなデバイスでもネットワークの深さや幅を増やすことで推論速度が向上する場合がある。
• このオドメトリ回帰タスクにおいて、単純な重みのプルーニングが、複雑な知識蒸留手法を上回る性能を示した。
• 専用命令セット（例：JetsonやCoralでの）によるハードウェアアクセcelerationは、顕著な高速化をもたらし、低消費電力プラットフォームでもリアルタイム推論を可能にした。
• 悪条件下でも、古典的手法よりもより滑らかに失敗するため、失敗しやすい環境におけるディープラーニングの主な利点を示している。