[論文レビュー] Multi-task Learning with Gradient Guided Policy Specialization

Wenhao Yu, C. Karen Liu+1 more|arXiv (Cornell University)|Sep 23, 2017

Reinforcement Learning in Robotics参考文献 18被引用数 3

ひとこと要約

本論文では、複数のタスクで共有されるニューラルネットワークポリシーを最初に共同で訓練した後、勾配に基づく指標を用いてタスク間で整合性の低い重みを特定し、それを選択的に特化させるという、マルチタスク強化学習手法を提案する。このアプローチは、ジョイントトレーニングのみ、個別トレーニング、ランダム特化、標準的なマルチタスクアーキテクチャと比較して、タスクの類似度が異なる多様なロボット制御タスクにおいて、データ効率と性能の両方を向上させる。

ABSTRACT

We present a method for efficient learning of control policies for multiple related robotic motor skills. Our approach consists of two stages, joint training and specialization training. During the joint training stage, a neural network policy is trained with minimal information to disambiguate the motor skills. This forces the policy to learn a common representation of the different tasks. Then, during the specialization training stage we selectively split the weights of the policy based on a per-weight metric that measures the disagreement among the multiple tasks. By splitting part of the control policy, it can be further trained to specialize to each task. To update the control policy during learning, we use Trust Region Policy Optimization with Generalized Advantage Function (TRPOGAE). We propose a modification to the gradient update stage of TRPO to better accommodate multi-task learning scenarios. We evaluate our approach on three continuous motor skill learning problems in simulation: 1) a locomotion task where three single legged robots with considerable difference in shape and size are trained to hop forward, 2) a manipulation task where three robot manipulators with different sizes and joint types are trained to reach different locations in 3D space, and 3) locomotion of a two-legged robot, whose range of motion of one leg is constrained in different ways. We compare our training method to three baselines. The first baseline uses only joint training for the policy, the second trains independent policies for each task, and the last randomly selects weights to split. We show that our approach learns more efficiently than each of the baseline methods.

研究の動機と目的

• 深層強化学習を用いて、関連する複数のロボット運動スキルを効率的に学習するためのデータ効率の向上を目的とする。
• マルチタスクポリシー学習におけるパラメータ共有とタスク固有の適応のバランスをとる課題に取り組む。
• 異なるタスク間で性能を向上させるために、どのネットワーク重みを特化すべきかを自動的に同定する手法を開発する。
• タスクの類似度が異なる（例：顕著に異なるロボット）状況において、本手法を評価する。
• 勾配の不一致に基づく選択的特化が、ランダムまたは固定アーキテクチャ特化を上回ることを示す。

提案手法

• 本手法は二段階トレーニングを採用する：まず、Proximal Policy Optimization (PPO) を用いて、すべてのタスクを同時に1つの共有ポリシーで学習する。
• タスク間でのポリシー勾配の分散に基づいて、各重みごとの指標を計算し、不一致度を測定する。分散が高いほど、共有の有用性が低いことを示す。
• 不一致度が高い重みは、2番目のトレーニングフェーズで選択的に分割され、特化されたサブポリシーが生成される。
• 特化は、価値関数ではなくポリシーネットワークにのみ適用され、勾配分散指標に基づく。
• 本手法は、柔軟な特化量を許容でき、共有アーキテクチャを持つ任意の数の関連タスクに適用可能である。
• 本手法はPPOとサーロー損失を用いて評価され、特化はトレーニングの一点でのみ適用される。

実験結果

リサーチクエスチョン

• RQ1 勾配の不一致に基づく選択的ポリシー特化は、ジョイントトレーニングのみと比較して、マルチタスク強化学習の性能を向上させるか？
• RQ2 本手法の性能は、タスクの類似度（例：サイズが異なるロボット）の違いにどのように依存するか？
• RQ3 勾配誘導型特化は、マルチタスク学習においてランダムまたは固定アーキテクチャ特化を上回るか？
• RQ4 本手法は、タスクの関連性が異なる多様なロボット制御タスクに一般化可能か？
• RQ5 ジョイントトレーニングの期間と特化率の影響は、最終的な性能にどのように現れるか？

主な発見

• 提案手法は、すべてのテスト設定で最高の性能を達成し、ジョイントトレーニングのみ、個別トレーニング、ランダム特化、標準的なマルチタスクアーキテクチャを一貫して上回った。
• 3kgおよび15kgのボディマスを持つホッパーのタスク（最も類似度が低い）では、2302.74の累積報酬を達成し、個別トレーニングおよびジョイントトレーニングを上回った。
• 前向きおよび後ろ向き歩行を実行するバイペッドタスクでは、800kのジョイントトレーニングステップと50％の特化率で2562.53の累積報酬を達成し、ベースラインを著しく上回った。
• タスクの類似度が高くなる（例：14kgおよび15kgのホッパー）と、勾配誘導型特化を施したジョイントトレーニングが個別トレーニングを上回り、最良のベースライン（2381.18）と比較して2562.53の報酬を達成した。
• 9つのハイパーパramータ設定すべてにおいて、本手法は頑健性を示し、最適な設定（800kジョイントステップ、50％特化）がすべての例で優れた結果をもたらした。
• 予備テストでは、価値関数ネットワークを特化させても顕著な向上が得られなかったため、性能向上にはポリシー特化のみで十分であると考えられる。