[論文レビュー] Context-Aware Policy Reuse

Siyuan Li, Fangda Gu+2 more|arXiv (Cornell University)|Jun 11, 2018

Reinforcement Learning in Robotics参考文献 38被引用数 9

ひとこと要約

本論文は、文脈状態に基づいて動的に複数のソース方策を再利用するモデルフリーでマルチポリシーの転移学習手法であるコンテキスト対応型ポリシー再利用（CAPS）を提案する。CAPSは、最適な再利用タイミングと終了時刻を学習し、再利用すべきソース方策を動的に選択する。CAPSは、グリッドワールドおよびPygame環境において、最先端の手法よりも高速な収束と優れた性能を達成しており、最適性と収束性に関する理論的保証を有する。

ABSTRACT

Transfer learning can greatly speed up reinforcement learning for a new task by leveraging policies of relevant tasks. Existing works of policy reuse either focus on only selecting a single best source policy for transfer without considering contexts, or cannot guarantee to learn an optimal policy for a target task. To improve transfer efficiency and guarantee optimality, we develop a novel policy reuse method, called Context-Aware Policy reuSe (CAPS), that enables multi-policy transfer. Our method learns when and which source policy is best for reuse, as well as when to terminate its reuse. CAPS provides theoretical guarantees in convergence and optimality for both source policy selection and target task learning. Empirical results on a grid-based navigation domain and the Pygame Learning Environment demonstrate that CAPS significantly outperforms other state-of-the-art policy reuse methods.

研究の動機と目的

• 強化学習の転移学習における単一ポリシー再利用の非効率性を解消すること。
• ターゲットタスクにおける複数のソース方策の再利用に際し、動的かつ文脈依存的な選択を可能にすること。
• ソース方策選択とターゲット方策学習の両方について、理論的収束性および最適性保証を提供すること。
• コール・リターン実行モデルを用いて、時間的に拡張されたポリシー再利用をサポートすること。
• 環境モデルやソース方策表現に関する事前知識を必要とせず、転移効率を向上させること。

提案手法

• CAPSは、現在の状態文脈に基づいてどのソース方策を再利用すべきかを決定するソース選択ポリシーを学習する。
• 各ソース方策の終了関数を同時に学習し、再利用を終了すべきタイミングを制御する。
• 時間的に拡張されたポリシー再利用をサポートするため、コール・リターン実行モデルを採用する。
• 完全性を確保し、ソース方策が不十分な場合のナビゲーションを可能にするために、基本的方策をアクション空間に拡張する。
• 共有された経験を用いて複数のソース方策におけるQ値の同時更新を実現し、サンプル効率を向上させる。
• モデルフリーであり、ソース方策表現に依存しない。遷移関数やゴール構造に関する仮定を一切必要としない。

実験結果

リサーチクエスチョン

• RQ1 マルチポリシー再利用手法は、文脈状態に基づいて最も適切なソース方策を動的に選択でき、転移効率を向上させることができるか？
• RQ2 最適な再利用タイミングと終了関数の学習により、ターゲットタスクにおける収束速度と性能が向上するか？
• RQ3 環境モデルの事前知識がなくても、CAPSは方策学習において理論的最適性保証を達成できるか？
• RQ4 複数のソース方策が部分的に有用である状況において、CAPSは単一ポリシー再利用や他の最先端の転移手法と比較してどのように性能を発揮するか？
• RQ5 1つのソース方策のみが有益である場合、CAPSは単一ポリシーベースラインと比較してどの程度の性能を維持できるか？

主な発見

• CAPSは、グリッドベースのナビゲーションおよびPygame学習環境において、最先端のポリシー再利用手法を著しく上回り、特に複数のソース方策が有用である状況で顕著な優位性を示す。
• 複数の有用なソース方策が存在する状況では、PRQL、OPS-TLその他のベースラインと比較して、より高速な学習と優れた最終的性能を達成する。
• 1つのソース方策のみが有益である状況では、CAPSは単一ポリシー再利用手法と同等またはそれ以上の性能を発揮し、強靭性を示す。
• CAPSは時間的に拡張された再利用を伴う最適なソース選択ポリシーを学習し、基本的アクションの必要性を低減させ、収束を加速する。
• ソース方策が最適でないか、品質にばらつきがある場合でも、理論的収束性および最適性保証を維持する。これはQ学習と同様の性質である。
• 実験的結果から、CAPSでは多くの状態において、有用なオプションの選択確率が最適な基本的アクションの選択確率を上回っており、学習速度の向上が見込まれる。