[論文レビュー] DiGrad: Multi-Task Reinforcement Learning with Shared Actions

Parijat Dewangan, S. Phani Teja+3 more|arXiv (Cornell University)|Feb 27, 2018

Reinforcement Learning in Robotics参考文献 17被引用数 5

ひとこと要約

本稿では、連続制御環境における共有アクションを有するロボットシステムにおけるマルチタスク学習のための深層強化学習フレームワークであるDiGradを提案する。微分政策勾配と1つの共有アクタ・クリティックネットワークを活用することで、DDPGに比べて訓練の安定性と性能が向上し、特に8リンク平面アームや27自由度ヒューマノイドのような複雑なマニピュレータにおいて、タスク間のキネマティックチェーンの重複を有する状況でも、収束が速く、より頑健な性能を達成する。

ABSTRACT

Most reinforcement learning algorithms are inefficient for learning multiple tasks in complex robotic systems, where different tasks share a set of actions. In such environments a compound policy may be learnt with shared neural network parameters, which performs multiple tasks concurrently. However such compound policy may get biased towards a task or the gradients from different tasks negate each other, making the learning unstable and sometimes less data efficient. In this paper, we propose a new approach for simultaneous training of multiple tasks sharing a set of common actions in continuous action spaces, which we call as DiGrad (Differential Policy Gradient). The proposed framework is based on differential policy gradients and can accommodate multi-task learning in a single actor-critic network. We also propose a simple heuristic in the differential policy gradient update to further improve the learning. The proposed architecture was tested on 8 link planar manipulator and 27 degrees of freedom(DoF) Humanoid for learning multi-goal reachability tasks for 3 and 2 end effectors respectively. We show that our approach supports efficient multi-task learning in complex robotic systems, outperforming related methods in continuous action spaces.

研究の動機と目的

• 連続制御環境においてタスクが共通のアクションを共有する場合に生じる不安定性と性能低下を解消すること。
• 共有パラメータを用いて、1つの複合政策により効率的で安定的かつ頑健な複数タスクの訓練を可能にする統合フレームワークの開発。
• 特に重複するアクション空間を有する分岐型マニピュレータを対象として、マルチタスクロボットシステムにおける一般化性能の向上と負の勾配干渉の低減。
• 8リンク平面マニピュレータや27自由度ヒューマノイドを含む複雑なロボットシステムにおいて、マルチゴール到達タスクの文脈でDiGradの有効性を実証すること。

提案手法

• 複数の決定的方策を同時に学習可能な1つの共有アクタ・クリティックネットワークを用いる。各タスクは独自の価値関数を持つ。
• 各タスクのアクションと報酬に基づいて勾配を計算する微分政策勾配更新ルールを導入し、タスク間の干渉を最小限に抑える。
• 訓練の安定化を図るため、共有アクションの勾配に対してヒューリスティックな正規化を適用する。具体的には、式(11)に従い、共有アクション値の勾配を正規化する。
• シングルクリティックおよびマルチクリティックアーキテクチャの両方をサポートするが、実験結果からシングルクリティックバージョンが、パラメータ共有と相関学習の向上により優れた性能を示した。
• DDPGアルゴリズムを基盤としつつ、タスク固有の価値関数更新と微分勾配計算を追加することで、マルチタスクダイナミクスに対応する。
• 報酬形状を設計し、タスク固有の進行状況を反映するとともに、1つのタスクが他を圧倒するのを避ける。

実験結果

リサーチクエスチョン

• RQ1 微分政策勾配を用いた統合アクタ・クリティックネットワークは、共有アクションを有する連続制御におけるマルチタスク強化学習を安定化できるか？
• RQ2 共有アクション空間を持つ複数タスクにおいて、DiGradはDDPGに比べて収束速度、最終的性能、訓練安定性の点で優れているか？
• RQ3 共有アクションの勾配を正規化することで、マルチタスク深層強化学習における訓練の安定性と性能が向上するか？
• RQ4 共有パラメータを用いる場合、シングルクリティックアーキテクチャはマルチクリティック設定を上回る性能を示せるか？
• RQ5 マルチゴールロボット制御において、DiGradは負の勾配干渉とタスクの優位性をどれほど効果的に防止できるか？

主な発見

• DiGradは、テストされたすべての環境でDDPGを上回り、8リンク平面マニピュレータと27自由度ヒューマノイドロボットの両方で収束が速く、最終的な平均報酬も高い結果を達成した。
• シングルクリティックDiGradフレームワークは、パラメータ数が少なく、タスク間の相関学習が向上したため、マルチクリティックバージョンよりも優れた性能を示した。
• 勾配正規化ヒューリスティックの適用により、特に初期訓練段階で訓練の安定性が向上したが、最終的な性能に顕著な変化は見られなかった。
• DDPGは、合算報酬信号を用いる際、負の勾配干渉のため、マルチタスク環境で不安定になり、タスクの優位性が顕著に現れた。
• 8リンクマニピュレータでは、DiGradは3つのタスクすべてで一貫した性能を維持したが、DDPGはタスク2でのみ同等の性能を達成した。
• ヒューマノイドロボットでは、シングルクリティック設定でヒューリスティックを適用したDiGradが、安定性と最終的性能の両面で最良の結果を出した。時間経過に伴う性能劣化も観察されなかった。