[論文レビュー] Improving Input-Output Linearizing Controllers for Bipedal Robots via Reinforcement Learning

Fernando Castañeda, Mathias Wulfman+5 more|arXiv (Cornell University)|Apr 15, 2020

Robotic Locomotion and Control参考文献 19被引用数 6

ひとこと要約

本稿では、モデルの不確実性と入力の飽和に対処するために、強化学習（RL）を用いて二足歩行ロボットの入出力線形化制御を向上させる。学習された補正項を追加し、RL学習にトルク制限を組み込むことで、RABBITロボット上で顕著なモデル不一致と飽和下でも歩行を安定化させ、最小限のトルク増加で局所的指数的安定性を達成し、トレーニング分布内での未学習歩行パターンに対しても一般化可能である。

ABSTRACT

The main drawbacks of input-output linearizing controllers are the need for precise dynamics models and not being able to account for input constraints. Model uncertainty is common in almost every robotic application and input saturation is present in every real world system. In this paper, we address both challenges for the specific case of bipedal robot control by the use of reinforcement learning techniques. Taking the structure of a standard input-output linearizing controller, we use an additive learned term that compensates for model uncertainty. Moreover, by adding constraints to the learning problem we manage to boost the performance of the final controller when input limits are present. We demonstrate the effectiveness of the designed framework for different levels of uncertainty on the five-link planar walking robot RABBIT.

研究の動機と目的

• 入出力線形化制御の限界、特にモデル不確実性への感受性と入力の飽和に対処できない点を解決すること。
• 現実の動的特性とアクチュエータ制約下でも、より高いロバスト性と性能を達成するデータ駆動型フレームワークを開発すること。
• 不十分に制御されたハイブリッド系であるアンダーアクチュエーテッド系に対して、RLとハイブリッドゼロダイナミクス（HZD）フレームワークを統合することで、安定的で長時間の歩行を実現すること。
• トルク飽和下でも、ポアンカレ解析を用いて局所的指数的安定性を保証する制御系を確立すること。
• トレーニングで使用した軌道の分布内において、未学習の周期的歩行パターンへの一般化を可能にすること。

提案手法

• Westenbroekら（2019）のRLフレームワークを、HZD法を用いてハイブリッド的かつアンダーアクチュエーテッドな二足歩行系に拡張する。
• DDPGベースのRLエージェントを用い、入出力線形化制御のモデル不確実性を補正する加法的補正項を学習する。
• アクチュエータ制限下での性能向上を図るため、明示的なトルク飽和制約をRLの目的関数に組み込む。
• 訓練中の安定性を確保するため、有限時間収束型フィードバック制御を設計し、アンダーアクチュエーション下でもロバスト性を確保する。
• 参照軌道のベジエ係数に基づく出力関数を定義し、軌道固有の線形化制御を可能にする。
• 周期的歩行の周囲における線形化ポアンカレ写像の固有値を計算することで、局所的指数的安定性をポアンカレ解析により検証する。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、二足歩行ロボットの入出力線形化制御におけるモデル不確実性を効果的に補正できるか？
• RQ2 RL学習に入力の飽和制約を組み込むことで、実世界のシステムにおける制御性能がどのように向上するか？
• RQ3 元の制御系が失敗するような高いモデル-プラント不一致下でも、RL強化型制御系は歩行を安定化できるか？
• RQ4 学習済みの周期的歩行パターンとは異なる歩行パターンに対して、どの程度一般化できるか？
• RQ5 ポアンカレ解析による検証で、トルク飽和下でもRL強化型制御系は局所的指数的安定性を維持できるか？

主な発見

• RL強化型入出力線形化制御は、RABBITロボットにおいて150%のモデル不一致（スケール=3）とトルク飽和下でも正常に歩行を安定化させたが、元の制御系は数ステップ後に失敗した。
• 高い不確実性とトルク飽和下で、線形化ポアンカレ写像の主要固有値は0.83であり、局所的指数的安定性が確認された。
• 元のIO制御と同等のトルクの大きさを維持しており、過度なアクチュエータ出力を回避した。
• トレーニング済みの軌道に類似した未学習の軌道（例：軌道2）に対しても良好な一般化を示し、安定した長時間の歩行が達成された。
• 顕著に異なる軌道（例：軌道3）では性能が低下したため、状態分布に基づく一般化の限界が示された。
• 元のIO制御が歩行ステップの大部分で機能し続ける場合にのみ、学習プロセスが収束したため、高い不確実性下での制約が明確になった。