[論文レビュー] A CPG-Based Agile and Versatile Locomotion Framework Using Proximal Symmetry Loss

Mohammadreza Kasaei, Miguel Henriques Abreu+3 more|arXiv (Cornell University)|Mar 1, 2021

Robotic Locomotion and Control被引用数 5

ひとこと要約

本論文では、閉ループ線形逆ピラミッドモデル（LIPM）駆動のウォークエンジンと、新規の近接対称性損失（PSL）関数で強化された近接方策最適化（PPO）を組み合わせたハイブリッドCPGベースの歩行フレームワークを提示する。この手法により、複雑な地形でも高いサンプル効率と摺り足への耐性を備えた機敏で全方向歩行が可能となり、訓練は1つのシナリオでのみ実施されたにもかかわらず、シミュレーション上では人間のような安定性と一般化性能を達成した。

ABSTRACT

Humanoid robots are made to resemble humans but their locomotion abilities are far from ours in terms of agility and versatility. When humans walk on complex terrains, or face external disturbances, they combine a set of strategies, unconsciously and efficiently, to regain stability. This paper tackles the problem of developing a robust omnidirectional walking framework, which is able to generate versatile and agile locomotion on complex terrains. The Linear Inverted Pendulum Model and Central Pattern Generator concepts are used to develop a closed-loop walk engine, which is then combined with a reinforcement learning module. This module learns to regulate the walk engine parameters adaptively, and generates residuals to adjust the robot's target joint positions (residual physics). Additionally, we propose a proximal symmetry loss function to increase the sample efficiency of the Proximal Policy Optimization algorithm, by leveraging model symmetries and the trust region concept. The effectiveness of the proposed framework was demonstrated and evaluated across a set of challenging simulation scenarios. The robot was able to generalize what it learned in unforeseen circumstances, displaying human-like locomotion skills, even in the presence of noise and external pushes.

研究の動機と目的

• ヒューマノイドロボットのための、耐障害性があり、機械的で多様性のある全方向歩行フレームワークを開発すること。
• モデルの対称性を活用することで、歩行のための深層強化学習におけるサンプル効率を向上させること。
• 適応的ポリシー学習により、予期しない地形や摂動に対しても一般化できるようにすること。
• 解析的CPGベースの制御とモデルフリーの残差学習を統合し、安定性と適応性を向上させること。
• 新規の近接対称性損失（PSL）関数がPPO学習の加速に有効であることを実証すること。

提案手法

• 線形逆ピラミッドモデル（LIPM）と部分フーリエ級数（PFS）オscillatorsを用いて、閉ループCPG-ZMPウォークエンジンを設計した。
• エキスパートが調整したPDコントローラーを用いて、一貫した歩行パターンの生成を保証するための安定化を実施した。
• 近接方策最適化（PPO）エージェントが、ウォークエンジンのパラメータを適応的にチューニングし、残差関節位置ターゲットを生成するように学習した。
• マークフ・意思決定過程（MDP）における空間的・時間的対称性を活用することで、サンプル効率を向上させるために、新規の近接対称性損失（PSL）関数を導入した。
• 信頼領域の原則と対称性に基づくデータ拡張を統合することで、学習の安定性と収束性を向上させる。
• フレームワークは、シミュレーション上でのCOMANヒューマノイドロボットを対象に、4つの多様な地形シナリオで評価された。訓練は1つの環境に限定された。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドCPGと深層強化学習フレームワークは、複雑な地形でも機械的で多様な歩行を達成できるか？
• RQ2 モデルの対称性を組み込むことで、PPOベースの歩行学習におけるサンプル効率はどのように向上するか？
• RQ3 1つの地形でのみ訓練されたポリシーが、予期しない複雑で動的な環境へ一般化できる範囲はどの程度か？
• RQ4 残差物理学習は、CPGベースのウォークエンジンにおける安定性と適応性を向上させられるか？
• RQ5 提案された近接対称性損失（PSL）関数は、標準PPOおよび既存の対称性ベース損失関数に比べ、サンプル効率で優れているか？

主な発見

• PPO+PSLフレームワークは、標準PPOおよびPPO+MSLと比較して、より優れたサンプル効率を達成し、異なるバッチサイズでも高速に収束し、高い性能を維持した。
• バッチあたり4,000サンプルの条件下で、PPO+PSLはPPOおよびPPO+MSLを上回り、対称性に配慮した学習の有効性を示した。
• ロボットは、再訓練なしに、不整地や外部からの衝撃に対しても学習したスキルを一般化した。
• 外部からの衝撃に対して、訓練されていなくても衝撃の方向に歩を進める行動を示し、回復できた。
• 平均して、最良のモデルは1エピソードあたり約7回（400 Nの力に29秒間耐えられる）の衝撃に耐えられた。
• フレームワークにより、人間のような歩行が可能になり、バランス回復も安定的であった。その様子は補足動画（https://youtu.be/mpGYdoPIMo）で視覚化されている。