[論文レビュー] Linear Representation Meta-Reinforcement Learning for Instant Adaptation

Matt Peng, Banghua Zhu+1 more|arXiv (Cornell University)|Jan 12, 2021

Reinforcement Learning in Robotics参考文献 32被引用数 4

ひとこと要約

FLAPは、共有線形ポリシー表現を学習し、フィードフォワードアダプターネットワークを用いて即座にタスク固有のポリシー重みを予測するメタ強化学習手法を導入する。これにより、MAML や PEARL といった先行手法と比較して、最大8倍の高速な適応と、分布外タスクにおける平均報酬の2倍の向上を達成する。

ABSTRACT

This paper introduces Fast Linearized Adaptive Policy (FLAP), a new meta-reinforcement learning (meta-RL) method that is able to extrapolate well to out-of-distribution tasks without the need to reuse data from training, and adapt almost instantaneously with the need of only a few samples during testing. FLAP builds upon the idea of learning a shared linear representation of the policy so that when adapting to a new task, it suffices to predict a set of linear weights. A separate adapter network is trained simultaneously with the policy such that during adaptation, we can directly use the adapter network to predict these linear weights instead of updating a meta-policy via gradient descent, such as in prior meta-RL methods like MAML, to obtain the new policy. The application of the separate feed-forward network not only speeds up the adaptation run-time significantly, but also generalizes extremely well to very different tasks that prior Meta-RL methods fail to generalize to. Experiments on standard continuous-control meta-RL benchmarks show FLAP presenting significantly stronger performance on out-of-distribution tasks with up to double the average return and up to 8X faster adaptation run-time speeds when compared to prior methods.

研究の動機と目的

• 推論時に勾配ベースの更新に依存しないことで、既存のメタ強化学習手法が分布外タスクへの高速適応に直面する高コストな計算課題を克服すること。
• ロボット工学などの実世界の応用において、勾配ベースの更新を直接予測によるポリシー重みの推定に置き換えることで、適応時間を短縮すること。
• 勾配ベースのファインチューニングではなく、重み予測による多様なポリシー出力を可能にすることで、未観測タスクへの一般化性能を向上させること。
• 最小限の相互作用データからのみ構築される事前学習済みアダプターネットワークを活用することで、適応段階における高いサンプル効率を達成すること。

提案手法

• 複数の訓練タスクにわたるポリシーネットワークの共有線形表現を学習し、π_i = φ · w_i とパrameterizeする。ここでφは共有表現、w_iはタスク固有の重みである。
• 新しいタスクからの1つのSARSタプルに基づいて、タスク固有の重みw_iを予測するため、別個のフィードフォワードアダプターネットワークを教師あり学習で訓練する。
• 適応段階では、共有表現φを固定し、アダプターネットワークを用いて新しいタスクのw_testを直接予測することで、勾配更新を回避する。
• オフポリシーのアクタクリティック訓練を用いて、共有ポリシー表現とアダプターネットワークを同時に最適化する。
• 繰り返しの勾配更新を1回の順伝播による前方計算に置き換えることで、高速な推論を実現する。
• 訓練タスクとは顕著に異なるタスクでテストすることで一般化性能を評価し、適応速度と報酬性能の両方を測定する。

実験結果

リサーチクエスチョン

• RQ1 推論時に勾配ベースの更新に依存しないメタ強化学習手法は、分布外タスクにおいて高速な適応を達成できるか？
• RQ2 学習済みアダプターネットワークを用いてタスク固有のポリシー重みを予測することは、勾配ベースやコンテキスト符号化手法と比較して、分布外タスクへの一般化性能を向上させるか？
• RQ3 アダプターネットワークへの入力として1つのSARSタプルを使用する場合、適応性能と安定性にどのような影響を与えるか？
• RQ4 線形ポリシー表現は、多様なタスクにおいて表現力と収束安定性の両立を達成できるか？
• RQ5 アダプターネットワークの一般化能力は、共有ポリシー表現の構造にどの程度依存するか？

主な発見

• FLAPは、勾配更新ではなく直接予測を行うため、MAML や PEARL を含む先行メタ強化学習手法と比較して、最大8倍の高速な適応実行時間を達成する。
• 分布外タスクにおいて、最先端の手法と比較して最大2倍の平均報酬を達成し、優れた一般化性能を示す。
• アダプターネットワークのおかげで、適応段階における環境との相互作用をわずかにしか必要とせず、サンプル複雑性を顕著に低減する。
• 新しいタスクが訓練タスクと著しく異なる場合でも、FLAPは良好な一般化性能を示すが、勾配ベース手法はタスク間で類似したポリシーを生成する傾向にある。
• SARSタプルの系列をアダプターネットワークの入力として使用することで、分散報酬タスクにおいて分散を低減し、わずかに性能を向上させるが、速度にわずかなコストが伴う。
• アダプターネットワークは訓練段階で安定的かつ迅速に収束し、新しいタスクに対する信頼性の高い効率的な重み予測が可能であることが示された。