[論文レビュー] Legged Robot State Estimation using Invariant Kalman Filtering and Learned Contact Events

Tzu-Yuan Lin, Ray Zhang+2 more|arXiv (Cornell University)|Jun 29, 2021

Robotic Locomotion and Control参考文献 27被引用数 10

ひとこと要約

本論文では、物理的力センサを必要とせず、関節エンコーダ、IMU、および運動学的データのみを用いた学習ベースの接触推定器を提案する。MIT Mini Cheetah上で自己教師付きの接触ラベルを用いて訓練された深層畳み込みニューラルネットワークにより、8種類の地形で97%を超える精度を達成し、接触を補助とする不変拡張カルマンフィルタ（InEKF）を統合することで、視覚的SLAMと同等のオドメトリトラジェクトリを生成可能であり、視覚的劣化環境下でも安定した性能を示す。

ABSTRACT

This work develops a learning-based contact estimator for legged robots that bypasses the need for physical sensors and takes multi-modal proprioceptive sensory data as input. Unlike vision-based state estimators, proprioceptive state estimators are agnostic to perceptually degraded situations such as dark or foggy scenes. While some robots are equipped with dedicated physical sensors to detect necessary contact data for state estimation, some robots do not have dedicated contact sensors, and the addition of such sensors is non-trivial without redesigning the hardware. The trained network can estimate contact events on different terrains. The experiments show that a contact-aided invariant extended Kalman filter can generate accurate odometry trajectories compared to a state-of-the-art visual SLAM system, enabling robust proprioceptive odometry.

研究の動機と目的

• 視覚的劣化環境下でも信頼性の高い状態推定を実現するための、接触センサを搭載しない脚部ロボットの課題に取り組む。
• 物理的力センサに依存せず、既存の自己知覚センサ（IMU、関節エンコーダ、運動学的データ）のみを用いて接触状態を推定する接触推定器を開発する。
• 動的で不整な地形において、制御および局所化タスクに適した高周波・リアルタイムの状態推定を実現する。
• ハードウェアの改造なしに、さまざまなロボットプラットフォームや地形に一般化可能なフレームワークを構築する。
• 再現性および脚部システムにおけるセンサレス状態推定分野のさらなる研究を支援するため、オープンソースのデータセットとコードを提供する。

提案手法

• 関節エンコーダ、IMU、運動学的データを入力として、16の接触状態（1本の脚ごとに接触／非接触の2値）を分類する2ブロック構成の畳み込みニューラルネットワークを訓練する。
• 運動学的一致性と運動ダイナミクスを用いて自己教師付きの接触ラベルを生成し、物理的センサに依存しない。
• 学習済みの接触推定値を接触を補助とする不変拡張カルマンフィルタ（InEKF）に統合し、状態推定を実行。フィルタの不変性を活用して数値的安定性を向上させる。
• 埋め込み型プラットフォーム（例：NVIDIA Jetson AGX Xavier）でリアルタイム推論を最適化した軽量なネットワークアーキテクチャを採用し、最大830 Hzの推論速度を達成。
• 全パイプラインをMIT Mini Cheetahロボットにデプロイし、LCMを用いてリアルタイム通信と制御システムとの統合を実現。
• ヒューリスティックな接触測定共分散を用いてInEKFをキャリブレーションし、ORB-SLAM2を基準として真値に代わる代替指標として性能を検証。

実験結果

リサーチクエスチョン

• RQ1 物理的力センサを搭載しない状態で、自己知覚センサデータのみを用いて、深層学習モデルが脚部ロボットの接触イベントを正確に推定できるか？
• RQ2 従来の力ベースまたはしきい値ベースのアプローチと比較して、自己教師付きの接触ラベル生成法は、精度および耐障害性において優れているか？
• RQ3 学習済みの接触状態を用いた接触を補助とする不変EKFは、多様な地形において視覚SLAMシステムと同等のオドメトリトラジェクトリを生成できるか、その程度は？
• RQ4 提案手法の接触推定器は、さまざまなロボットの歩行パターンや表面タイプ（不整・滑らかな表面を含む）に一般化可能か？
• RQ5 埋め込み型ハードウェア上で、接触推定器のリアルタイム推論性能はどの程度か？

主な発見

• 運動学的データから生成されたラベルで学習させた場合、テストセットにおいて全脚平均で97.82%の精度を達成した。
• 運動学的ラベルで学習させた場合、両脚で92%以上の精度を維持し、誤検出率に変化がなかったため、状態推定に耐障害性があることが示された。
• NVIDIA RTX 3090では1100 Hz、NVIDIA Jetson AGX Xavierでは830 Hzの推論速度を達成し、ロボットの500 Hzのエンコーダ更新レートに対応するリアルタイム動作を実現した。
• 接触を補助とするInEKFは、状態最良の視覚SLAMシステムであるORB-SLAM2と同等の精度でオドメトリトラジェクトリを生成した。特に視覚的劣化環境下や困難な環境下で顕著な性能を示した。
• MIT Mini Cheetah上で実証され、8種類の異なる表面で検証された結果、異なる地形およびロボットプラットフォームに一般化可能であることが示された。
• アブレーションスタディの結果、2ブロック構造が精度と効率のバランスを最良に達成しており、単純または深層な変種よりも精度および誤検出率の両面で優れた性能を示した。