[論文レビュー] Online Transfer Learning in Reinforcement Learning Domains

Yusen Zhan, Matthew E. Taylor|arXiv (Cornell University)|Jul 2, 2015

Reinforcement Learning in Robotics参考文献 27被引用数 25

ひとこと要約

本稿は、行動アドバイスを通じたエージェント間教育を形式化するオンライン転移学習フレームワークを提案する。表形式と線形関数近似の両方において、有限のアドバイスのもとでQ学習とSarsaの収束を証明している。教師のアドバイスが漸近的性能を低下させないことを確立し、線形チェーンMDPとPac-Man環境において実証的に検証した。

ABSTRACT

This paper proposes an online transfer framework to capture the interaction among agents and shows that current transfer learning in reinforcement learning is a special case of online transfer. Furthermore, this paper re-characterizes existing agents-teaching-agents methods as online transfer and analyze one such teaching method in three ways. First, the convergence of Q-learning and Sarsa with tabular representation with a finite budget is proven. Second, the convergence of Q-learning and Sarsa with linear function approximation is established. Third, the we show the asymptotic performance cannot be hurt through teaching. Additionally, all theoretical results are empirically validated.

研究の動機と目的

• 強化学習におけるエージェント間相互作用をオンライン転移学習として形式化し、従来の転移学習を動的でリアルタイムな設定に拡張すること。
• 行動アドバイスのような既存のエージェントがエージェントを教える手法を、統一的なオンライン転移学習フレームワーク内に再定式化すること。
• 教師エージェントから有限のアドバイスを受ける場合のQ学習とSarsaの収束性および性能バウンズを理論的に分析すること。
• 単純なMDPと複雑なPac-Man環境の両方で理論的主張を実証的に検証すること。
• 教師のアドバイスが、限られたガイダンスのもとであっても学習アルゴリズムの漸近的性能を低下させないことを確立すること。

提案手法

• オンライン学習中に教師-生徒の相互作用を動的知識転送としてモデル化するオンライン転移学習フレームワークを提案する。
• Lazaric（2012）の転移学習分類法をオンライン設定に適応し、行動アドバイスをインスタンス転送の一種とみなす。
• 教師が提案する行動を組み込むために、時間差バックアップを修正したQ学習とSarsaの更新ルールを用いる。
• 標準の学習率条件と訪問頻度の仮定のもとで、表形式のQ学習とSarsaの収束証明を適用する。
• 標準的仮定（例：有界な特徴量、減少するステップサイズ）を用いて、線形関数近似への収束分析を拡張する。
• 線形チェーンMDPとPac-Manシミュレーションの両方でフレームワークを実証的に評価し、4つの指導条件（正しい、ランダム、劣悪、指導なし）の間で合計報酬を比較する。

実験結果

リサーチクエスチョン

• RQ1 行動アドバイスによるオンライン転移学習は、表形式設定において有限のアドバイスのもとでQ学習とSarsaの収束を保証するか？
• RQ2 線形関数近似において、有限のアドバイスのもとでQ学習とSarsaの収束を確立できるか？
• RQ3 教師のアドバイスが学習エージェントの漸近的性能に与える影響に理論的限界はあるか？
• RQ4 教師のアドバイスの質は実際の合計報酬に影響を及ぼすか？その影響は統計的に有意か？
• RQ5 提案されたフレームワークは、既存のエージェントがエージェントを教える手法を共通の理論的基盤の下に統合できるか？

主な発見

• 標準の学習率および訪問頻度の条件下で、有限のアドバイスを受ける表形式のQ学習とSarsaは、最適なQ値に収束する。
• 線形関数近似においては、特徴量とステップサイズに関する標準的正則性条件のもとで、Q学習とSarsaは最適なQ値に収束する。
• 教師のアドバイスは、Q学習やSarsaの漸近的性能を低下させない。最適方策は、アドバイスの質に関わらず同一のままである。
• 線形チェーンMDPとPac-Man環境における実証的結果は、指導条件間で合計報酬に統計的に有意な差異（p < 4.6×10⁻¹³）を示し、正しい教師が他の条件を上回ることを示した。
• 正しい教師条件では、平均合計報酬が3,746.75（FR）および341,790.99（TR）に達し、指導なし（3,766.58 FR、318,072.70 TR）よりも顕著に高い水準にあり、理論的予測を裏付けた。
• 結果は、アドバイスが学習速度と合計報酬を向上させるが、学習アルゴリズムの根本的な漸近的限界を変えることはないことを検証した。