[論文レビュー] Learning Locomotion Skills Using DeepRL: Does the Choice of Action Space Matter?

Xue Bin Peng, Michiel van de Panne|arXiv (Cornell University)|Nov 3, 2016

Reinforcement Learning in Robotics参考文献 30被引用数 67

ひとこと要約

本稿では、行動空間の選択が歩行のための深層強化学習に与える影響を調査し、トルク、筋活動、目標関節角、目標関節速度のパrameterizationを比較している。高レベルの行動空間（例：目標関節角）は、複数の平面ロボットおよび歩行パターンにおいて、学習効率、ポリシーの頑健性、運動品質、およびゲートサイクル模倣タスクにおけるクエリレートの向上を顕著に示している。

ABSTRACT

The use of deep reinforcement learning allows for high-dimensional state descriptors, but little is known about how the choice of action representation impacts learning and the resulting performance. We compare the impact of four different action parameterizations (torques, muscle-activations, target joint angles, and target joint-angle velocities) in terms of learning time, policy robustness, motion quality, and policy query rates. Our results are evaluated on a gait-cycle imitation task for multiple planar articulated figures and multiple gaits. We demonstrate that the local feedback provided by higher-level action parameterizations can significantly impact the learning, robustness, and motion quality of the resulting policies.

研究の動機と目的

• 歩行のための深層強化学習における、異なる行動表現がポリシー学習に与える影響を理解すること。
• 行動パrameterization間の学習速度、ポリシーの頑健性、運動品質、クエリ効率のトレードオフを評価すること。
• 複雑な歩行タスクにおいて、低レベルの制御（例：トルク）と比較して、高レベルの行動空間（例：目標関節角）が優位性を示すかどうかを特定すること。

提案手法

• 4つの行動パrameterization（関節トルク、筋活動、目標関節角、目標関節速度）を評価した。
• 複数の平面アーチレートド・フィギュアを用いたゲートサイクル模倣タスクに、深層強化学習フレームワークを適用した。
• 運動類似性に基づく報酬形状戦略を用いて、専門家の模倣を学習するポリシーを訓練した。
• 学習性能は、訓練時間、摂動に対する頑健性、運動品質（例：滑らかさ、安定性）、およびポリシークエリレートを用いて測定した。
• 一般化を評価するために、複数の歩行パターンとロボット形状で実験を行った。
• 高レベル行動空間における局所フィードバックの影響を、学習の向上をもたらす主要要因として分析した。

実験結果

リサーチクエスチョン

• RQ1 行動空間の選択は、歩行タスクにおける深層強化学習のサンプル効率にどのように影響するか？
• RQ2 高レベルの行動表現（例：目標関節角）を用いることで、より頑健で高品質な歩行ポリシーが得られるか？
• RQ3 推論中に、異なる行動空間は運動品質およびポリシークエリレートにおいてどのように比較されるか？
• RQ4 高レベル行動空間は、異なる歩行パターンおよびロボット形状にわたるポリシー一般化をどの程度向上させるか？
• RQ5 行動パrameterizationにおける局所フィードバックは、ポリシー学習の加速にどのような役割を果たすか？

主な発見

• 高レベルの行動空間、特に目標関節角は、トルクなどの低レベル制御と比較して、学習時間を顕著に短縮した。
• 目標関節角を用いたポリシーは、環境の摂動およびシミュレーションノイズに対して優れた頑健性を示した。
• 高レベル行動空間を用いたポリシーでは、運動品質が一貫して高く、滑らかで安定した歩行が得られた。
• 目標関節角を用いることで、ポリシークエリレートが顕著に低下し、推論効率の向上が示された。
• 筋活動パrameterizationは中間的な性能を示したが、より不安定でハイパーパrameterに敏感であった。
• 高レベル行動空間に内在する局所フィードバックが、より高速かつ信頼性の高いポリシー学習を可能にする主要因であると特定された。