[論文レビュー] Evaluation of Constrained Reinforcement Learning Algorithms for Legged Locomotion

Joonho Lee, Lukas Schroth+4 more|arXiv (Cornell University)|Sep 27, 2023

Robotic Locomotion and Control被引用数 6

ひとこと要約

本論文は、関節速度およびトルク制限などの物理的制約を強制するために、制約付きマルコフ決定過程（CMDP）フレームワークを用いて、脚部歩行のための制約付き強化学習（CRL）アルゴリズムを評価している。報酬から制約を分離することで、制約違反を低減し、シミュレーションから実世界への転送性を向上させた。実機ロボット実験では、N-P3Oが優れた性能と安定性を示した。

ABSTRACT

Shifting from traditional control strategies to Deep Reinforcement Learning (RL) for legged robots poses inherent challenges, especially when addressing real-world physical constraints during training. While high-fidelity simulations provide significant benefits, they often bypass these essential physical limitations. In this paper, we experiment with the Constrained Markov Decision Process (CMDP) framework instead of the conventional unconstrained RL for robotic applications. We perform a comparative study of different constrained policy optimization algorithms to identify suitable methods for practical implementation. Our robot experiments demonstrate the critical role of incorporating physical constraints, yielding successful sim-to-real transfers, and reducing operational errors on physical systems. The CMDP formulation streamlines the training process by separately handling constraints from rewards. Our findings underscore the potential of constrained RL for the effective development and deployment of learned controllers in robotics.

研究の動機と目的

• 脚部ロボットのポリシー学習において物理的制約を無視する既存の強化学習研究のギャップを埋める。
• トルク、速度制限などのハードな物理的制約を学習プロセスに組み込むことで、シミュレーションから実世界への転送性を向上させる。
• 高い歩行性能を達成しつつ制約遵守を維持できる能力について、一次の制約付きポリシー最適化アルゴリズムを評価・比較する。
• 報酬から制約を分離することで、複雑な報酬形状設計の必要性を低減し、ポリシーのロバスト性を向上させることを示す。
• 実世界での展開に適した実用的なCRLパイプラインを構築し、実機での検証を実施する。

提案手法

• 物理的制約をコスト関数としきい値として明示的にモデル化することで、脚部歩行を制約付きマルコフ決定過程（CMDP）として定式化する。
• 異なる最適化戦略を用いる3つの一次CRLアルゴリズム（N-P3O、PPO-Lagrangian、CRPO）を適用する。
• コストクリティックネットワークにソフトプラス出力層を導入し、非負のコスト値推定を保証することで、学習の安定性を向上させる。
• 制約ペナルティ係数（κ）の動的スケジューリングを実装し、学習初期段階で制約の強制を遅らせて探索を促進する。
• 係数を徐々に減少させるエントロピー正則化を適用し、ポリシーの滑らかさと一般化性能を向上させる。
• ドメインランダマイゼーションとプロ prioceptive状態観測（速度、関節状態、重力）を用いて、ポリシーのロバスト性を強化する。

実験結果

リサーチクエスチョン

• RQ1 異なる制約付きポリシー最適化アルゴリズムは、脚部歩行における制約違反頻度と最終的パフォーマンスの観点でどのように比較されるか？
• RQ2 学習段階で物理的制約を強制することで、シミュレーションにおける報酬形状設計の複雑さを低減できるか？
• RQ3 CMDP定式化は、実世界の脚部ロボットにおけるシミュレーションから実世界への転送性と運用信頼性を向上させるか？
• RQ4 コスト関数の設計（例：インジケータ関数、二乗ReLU）の違いが、制約違反の頻度と逸脱度に与える影響は何か？
• RQ5 ソフトプラスを用いた非負のコストクリティック学習は、学習の安定性と制約遵守にどのような影響を与えるか？

主な発見

• N-P3Oアルゴリズムは、評価された手法の中で最も低い制約違反（1エピソードあたり0.05）と最高のパフォーマンス（平均報酬72.83）を達成した。
• コスト関数としてインジケータ関数を用いることで、制約違反が最も少なく、次に関節数に基づくコスト関数が続いた。
• ソフトプラス活性化を用いたコストクリティックは、標準的な線形クリティックと比較して、コストリターン推定の分散を低減し、学習の安定性を向上させた。
• CMDPフレームワークは、実世界での運用においても制約違反を著しく低減し、車輪脚部ロボットにおける有効なシミュレーションから実世界への転送性を実証した。
• 制約ペナルティ係数（κ）の動的スケジューリングにより、早期収束を防ぎ、探索性を高め、最終的なポリシー品質を向上させた。
• 物理的制限に対する報酬形状設計への依存度を低減し、ポリシー設計を簡素化するとともに、一般化性能を向上させた。