[論文レビュー] DEP-RL: Embodied Exploration for Reinforcement Learning in Overactuated and Musculoskeletal Systems

Pierre Schumacher, Daniel Häufle+3 more|arXiv (Cornell University)|May 30, 2022

Muscle activation and electromyography studies被引用数 6

ひとこと要約

DEP-RL は、微分外的可塑性（DEP）を統合することで、相関性があり身体に適合したモーター雑音を生成する、過作動な筋骨格系における強化学習のための画期的な探索戦略を提案する。これにより、高次元の筋肉制御空間において、複雑な到達および歩行タスクの高速かつサンプル効率の良い学習が可能となり、120本の筋肉を含むタスクにおいて、従来手法を上回るサンプル効率と耐性を示した。

ABSTRACT

Muscle-actuated organisms are capable of learning an unparalleled diversity of dexterous movements despite their vast amount of muscles. Reinforcement learning (RL) on large musculoskeletal models, however, has not been able to show similar performance. We conjecture that ineffective exploration in large overactuated action spaces is a key problem. This is supported by the finding that common exploration noise strategies are inadequate in synthetic examples of overactuated systems. We identify differential extrinsic plasticity (DEP), a method from the domain of self-organization, as being able to induce state-space covering exploration within seconds of interaction. By integrating DEP into RL, we achieve fast learning of reaching and locomotion in musculoskeletal systems, outperforming current approaches in all considered tasks in sample efficiency and robustness.

研究の動機と目的

• 標準的なノイズ戦略が失敗する高次元かつ過作動な筋骨格系において、探索が効果的でないという課題に対処すること。
• 相関のある探索ノイズ、特に DEP が、冗長なモーター系において状態空間を効果的にカバーできるかどうかを調査すること。
• アクション空間の単純化や専門家の示範を用いずに、筋肉刺激レベルでのサンプル効率的で耐性のある強化学習制御を可能にする手法を開発すること。
• 自由度や筋肉数が異なる多様な歩行および到達タスクにわたる一般化を示すこと。
• 歩行タスクにおける分布外の摂動に対して、このアプローチの耐性を検証すること。

提案手法

• 時間的に相関のある、状態依存のモーター雑音を生成するために、自己組織化制御則である微分外的可塑性（DEP）を強化学習の学習ループに統合する。
• 過去と現在のセンサ速度の相関に基づいてアクション変調を計算する DEP ルールを用いる：$ C_{t} = \tanh(\kappa \dot{s}_{t} \dot{s}_{t-\Delta t}) $、ここで $ \Delta t $ は時間遅延、$ \kappa $ はゲインである。
• 各エピソード内で強化学習ポリシーと DEP コントローラーを交互に切り替え、探索と活用のバランスをとるためにスイッチ確率 $ p_{\text{switch}} $ を用いる。
• 最小限の事前知識（制御信号から筋肉長への恒等行列マッピングのみ）を用い、手動で設計された相関行列や構造的プライアを避ける。
• 特に50本の筋肉を有する人間の腕と120本の筋肉を有するオストレッチのシミュレーテッド筋骨格モデルにおいて、直接的に筋肉刺激レベルに適用する。
• 報酬形状付けやカリキュラム学習なしに、標準的な強化学習アルゴリズム（例：MPO）に DEP を探索メカニズムとして統合する。

実験結果

リサーチクエスチョン

• RQ1 標準的なノイズが失敗する過作動な筋骨格系において、相関のある探索ノイズ（例：DEP）が状態空間を効果的にカバーできるか？
• RQ2 DEP は $\epsilon$-greedy や非相関ガウスノイズといった一般的な探索戦略と比較して、サンプル効率と耐性の面でどのように優れているか？
• RQ3 DEP を強化学習に統合することで、高次元の筋肉空間における到達や歩行といった複雑なタスクの学習パフォーマンスが向上するか？
• RQ4 特に走行のような不安定なタスクにおいて、スイッチ確率 $ p_{\text{switch}} $ のようなハイパーパrameterへの感度はどの程度か？
• RQ5 報酬形状付けや専門家の示範、アクション空間の単純化なしに、DEP-RL は最先端のパフォーマンスを達成できるか？

主な発見

• 報酬形状付けやカリキュラム学習なしに、120本の筋肉を有するシミュレーテッドオストレッチ歩行タスクで、記録された最高スピードを達成した。
• 50本の個別に制御可能な筋肉を有する7自由度の人間の腕モデルにおいて、RLで筋肉刺激レベルで安定した制御を学習した—これは従来のRLでは未解決であった。
• 到達および歩行を含む、評価されたすべてのタスクにおいて、DEP-RL はベースラインの強化学習手法をサンプル効率と耐性の面で上回った。
• 3つの歩行タスクにおいて、分布外の摂動に対して優れた耐性を示し、エージェントが摂動を受けた後もパフォーマンスが安定した。
• 実験的結果から、DEP は $ \Delta t $ の広い範囲（5〜28）で有効であることが示され、多様なシステムダイナミクスに一般化可能であることがわかった。
• アブレーションスタディにより、安定したタスク（例：humanreacher）では $ p_{\text{switch}} $ への感度が低く、一方不安定なタスク（例：ostrich-run）では高い DEP 頻度が頻繁な転倒を引き起こすため、感度が高くなることが確認された。