[論文レビュー] Combining Learning-based Locomotion Policy with Model-based Manipulation for Legged Mobile Manipulators

Yuntao Ma, Farbod Farshidian+3 more|arXiv (Cornell University)|Jan 11, 2022

Robotic Locomotion and Control被引用数 5

ひとこと要約

本稿では、学習ベースの歩行ポリシーとモデルベースの操作を組み合わせたハイブリッド制御フレームワークを提案する。ベースポリシーをMPCによって生成された予測を通じて将来の外部のねじり力（wrench）を予測させることで、粗い地形でも頑健な歩行を実現するとともに、再訓練なしに新しい操作アーム設定へのゼロショット適応を可能にする。

ABSTRACT

Deep reinforcement learning produces robust locomotion policies for legged robots over challenging terrains. To date, few studies have leveraged model-based methods to combine these locomotion skills with the precise control of manipulators. Here, we incorporate external dynamics plans into learning-based locomotion policies for mobile manipulation. We train the base policy by applying a random wrench sequence on the robot base in simulation and adding the noisified wrench sequence prediction to the policy observations. The policy then learns to counteract the partially-known future disturbance. The random wrench sequences are replaced with the wrench prediction generated with the dynamics plans from model predictive control to enable deployment. We show zero-shot adaptation for manipulators unseen during training. On the hardware, we demonstrate stable locomotion of legged robots with the prediction of the external wrench.

研究の動機と目的

• 高次元のダイナミクスを示す未構造的かつ接触が豊富な環境において、脚立型移動操作ロボットを制御する課題に取り組む。
• 純粋にモデルベースの手法（複雑な地形における高い計算コスト）と純粋に学習ベースの手法（ロボットの構成変更に対する一般化性の低さ）の限界を克服する。
• 将来のねじり力予測をポリシーの観測空間に組み込むことで、外部の擾乱に対して頑健な歩行を実現する。
• 操作アームの設定が変更された場合でも、再訓練なしに同じ歩行ポリシーを適用できるゼロショット適応を実現する。これは、制御設計の分離に依存する。

提案手法

• モデル予測制御（MPC）によって生成された将来のねじり力予測（0.0–0.8 s 未来）のシーケンスを観測することで、外部のねじり力を補正する深層強化学習（PPO）ポリシーを訓練する。
• シミュレーションでの訓練中にランダムなねじり力シーケンスを用いることで、ポリシーが多様な擾乱にさらされ、耐障害性が向上するようにする。
• アームの状態やタスク固有の行動ではなく、ねじり力予測のみに条件づけることで、ベースの歩行ポリシーと操作アームの構成とを分離する。
• ハードウェア上にシステムをデプロイする際、正確なアーム制御にはMPCを用い、同時に歩行ポリシーが使用するねじり力予測を生成する。
• デプロイ時において、リアルタイムのねじり力観測をMPCによるねじり力予測シーケンスに置き換えることで、能動的な擾乱抑制を実現する。
• プロ prioceptive 歴史と正規化器を用いて観測を安定化させ、ポリシーの一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 モデルベースの操作コントローラーが生成する将来のねじり力予測を、学習ベースの歩行ポリシーが活用できるか？
• RQ2 ねじり力予測シーケンスを組み込むことで、粗い地形における歩行の撹乱抑制と安定性が向上するか？
• RQ3 同じ歩行ポリシーが再訓練なしに複数の操作アーム設定に一般化できるか？
• RQ4 プロ prioceptive から復元したねじり力と比較して、予測されたねじり力を使用した場合のポリシー性能はどの程度か？
• RQ5 動的擾乱下でポリシー性能を維持するために、ねじり力観測の予測時間窓（予測期間）はどの程度重要か？

主な発見

• MPCによって生成されたねじり力予測を観測として使用することで、ベースポリシーの撹乱抑制性能が向上し、5 rad/s の周波数で復元したねじり力と比較して、平均角速度誤差が最大38%まで低減された。
• 動的操業（5 rad/s）下で、ねじり力予測を使用した場合、平均4.1秒間の安定歩行が達成されたが、復元ねじり力を使用した場合ではわずか1.9秒にとどまった。
• 再訓練なしに、3 kgのエンドエフェクタを搭載した新しい操作アーム設定へのゼロショット適応がハードウェア上で成功裏に実証された。これは、一般化能力を裏付けるものである。
• 遮断実験の結果、ポリシーは特に即時のねじり力予測（0.0–0.2 s 未来）に最も依存しており、0.8 s 予測が平均的に最も有用であった。
• 観測されないねじり力擾乱（例：1 kgの荷重）を伴う訓練を経たポリシーは、ダイナミクスの不一致下でも、ベースの角速度誤差が著しく低減され、安定性が向上した。
• 本システムは、粗い地形におけるリアルタイムで予測可能な制御を用いた、脚立型移動操作のハードウェアデプロイにおいて、世界で初めての実装を達成した。