[論文レビュー] Robust Dynamic Locomotion via Reinforcement Learning and Novel Whole Body Controller

Donghyun Kim, Jaemin Lee+1 more|arXiv (Cornell University)|Aug 7, 2017

Robotic Locomotion and Control参考文献 34被引用数 7

ひとこと要約

本論文では、強化学習（RL）と新規の全身歩行制御器（WBLC）を組み合わせることで、人型ロボットの耐障害性に優れた動的歩行フレームワークを提案する。RLポリシーはフェーズ空間プランナ（PSP）と逆運動学的倒立振子モデルを用いて、マルチステップ先読み歩行パターンを学習し、リアルタイムで撹乱に強く対応できる制御を実現する。WBLCは優先順位付きタスク制御と不等式制約付き二次計画法を用いてトルク指令を効率的に計算し、シミュレーションで0.1秒間の520 Nの外乱に対して安定した歩行を維持する。

ABSTRACT

We propose a robust dynamic walking controller consisting of a dynamic locomotion planner, a reinforcement learning process for robustness, and a novel whole-body locomotion controller (WBLC). Previous approaches specify either the position or the timing of steps, however, the proposed locomotion planner simultaneously computes both of these parameters as locomotion outputs. Our locomotion strategy relies on devising a reinforcement learning (RL) approach for robust walking. The learned policy generates multi step walking patterns, and the process is quick enough to be suitable for real-time controls. For learning, we devise an RL strategy that uses a phase space planner (PSP) and a linear inverted pendulum model to make the problem tractable and very fast. Then, the learned policy is used to provide goal-based commands to the WBLC, which calculates the torque commands to be executed in full-humanoid robots. The WBLC combines multiple prioritized tasks and calculates the associated reaction forces based on practical inequality constraints. The novel formulation includes efficient calculation of the time derivatives of various Jacobians. This provides high-fidelity dynamic control of fast motions. More specifically, we compute the time derivative of the Jacobian for various tasks and the Jacobian of the centroidal momentum task by utilizing Lie group operators and operational space dynamics respectively. The integration of RL-PSP and the WBLC provides highly robust, versatile, and practical locomotion including steering while walking and handling push disturbances of up to 520 N during an interval of 0.1 sec. Theoretical and numerical results are tested through a 3D physics-based simulation of the humanoid robot Valkyrie.

研究の動機と目的

• 大規模で予期しない撹乱に耐えられるリアルタイムで頑健な動的歩行制御器を、完全人型ロボットに開発すること。
• 従来の手法が歩行タイミングか足場配置のいずれかを固定するという制限を克服し、強化学習により両パラメータを統合最適化すること。
• 階層的タスク優先順位と一方向接触および摩擦制約を統合した、計算効率の高い全身制御器（WBLC）を設計すること。
• リー群と作業空間ダイナミクスを活用してヤコビアンの時間微分を効率的に計算することで、高速運動の高精度な動的制御を実現すること。
• バーキュリー・ロボットの3次元物理ベースのシミュレーションにおいて、現実的で計画外の撹乱下でフレームワークを検証すること。

提案手法

• 探索空間の縮小と学習の高速化を目的として、オフラインでフェーズ空間プランナ（PSP）と線形倒立振子モデルを用いて強化学習（RL）ポリシーを訓練する。
• RLポリシーは、目標に基づいた歩行タイミングと足場配置の指令を生成し、リアルタイムでマルチステップ先読み計画を可能にする。
• 新規の全身歩行制御器（WBLC）は、射影ベースの階層的制御と、接触不等式制約（摩擦および一方向力含む）を強制する次元削減型二次計画法（QP）を統合する。
• WBLCは、リー群演算子を用いて重心運動量と作業空間ダイナミクスの解析的微分を効率的に計算することで、トルク指令を算出する。
• タスクの優先順位は、バランス、運動量、接触力に優先順位を割り当てつつ物理的制約を尊重する階層的構造により維持される。
• 学習済みRLポリシーとWBLCを統合することで、完全な3次元人型モデル上でリアルタイムで頑健な動的歩行パターンを実行可能となる。

実験結果

リサーチクエスチョン

• RQ1 強化学習ポリシーは、完全人型ロボットにおける頑健な動的歩行のため、歩行タイミングと足場配置を同時に最適化できるか？
• RQ2 実際の一方的接触および摩擦制約を組み込んだ状態で、優先順位付きタスクを効率的に処理できる全身制御器はどのように実現できるか？
• RQ3 射影ベースの高速性とQPベースの制約強制を組み合わせたハイブリッド制御フレームワークは、動的歩行においてどの程度の性能を示すか？
• RQ4 動的歩行中に大規模でインパulse的な撹乱（例：0.1秒間で520 N）に対して、システムはどの程度の耐性を示せるか？
• RQ5 RLと新規のWBLCを統合することで、シミュレーション上での高速で動的運動のリアルタイムかつ高精度な制御が達成可能か？

主な発見

• RLポリシーはリアルタイムでマルチステップ歩行パターンを学習し、瞬時に数百ステップの計画を可能にし、歩行時間スケールをはるかに上回る。
• WBLCは、接触点の数にのみ依存する低次元QPと射影ベース制御を組み合わせることで、高い計算効率を達成する。
• 0.1秒間の520 Nの撹乱に対して、シミュレーション上でもバランスを保ち、安定した歩行を維持するという頑健性を示した。
• リー群に基づくヤコビアンの時間微分の統合により、高速運動の高精度な動的制御が可能になり、精度と応答性が向上した。
• IPベースの歩行計画を完全人型モデルに効果的に移行でき、タスク優先順位と接触制約の強制を保持した。
• 従来の射影ベース手法に比べ、摩擦錐や一方的接触の不等式制約を組み込みつつ、計算速度を損なわずに優れた性能を発揮した。