[論文レビュー] Theoretically-Grounded Policy Advice from Multiple Teachers in Reinforcement Learning Settings with Applications to Negative Transfer

Yusen Zhan, Haitham Bou Ammar+1 more|arXiv (Cornell University)|Apr 13, 2016

Reinforcement Learning in Robotics参考文献 9被引用数 31

ひとこと要約

本論文は、理論的裏付けをもつマルチティーチャー強化学習フレームワークを提案する。学生エージェントは複数のティーチャーからの助言を活用しながら、自らの探索をバランスさせる。レギュレートバウンドを導出し、優れたティーチャーは学習を加速させ、劣ったティーチャーはサンプルの複雑性を増加させることを証明する。本稿では、ポリシー助言設定におけるネガティブトランスファーを初めて定量的に評価した。

ABSTRACT

Policy advice is a transfer learning method where a student agent is able to learn faster via advice from a teacher. However, both this and other reinforcement learning transfer methods have little theoretical analysis. This paper formally defines a setting where multiple teacher agents can provide advice to a student and introduces an algorithm to leverage both autonomous exploration and teacher's advice. Our regret bounds justify the intuition that good teachers help while bad teachers hurt. Using our formalization, we are also able to quantify, for the first time, when negative transfer can occur within such a reinforcement learning setting.

研究の動機と目的

• ポリシー助言移転学習手法における理論的裏付けの欠如に取り組む。
• 最適ティーチャーを必要とする制限を克服し、非最適ティーチャーからの学習を可能にする。
• 単一ティーチャー助言モデルを理論的保証とともにマルチティーチャー設定に形式的に一般化する。
• ポリシー助言におけるネガティブトランスファーを定量的に評価し、その発生条件を特定する。
• 学生が探索と助言を統合することでティーチャーのパフォーマンスを上回るフレームワークを提供する。

提案手法

• 弱く通信可能なMDPにおけるマルチティーチャー助言モデルを形式化し、単一ティーチャー枠組みを拡張する。
• 重み付き組み合わせ戦略を用いて、学生の自律性とティーチャーの助言のバランスを取るアルゴリズムを導入する。
• ティーチャーの質に依存するレギュレートバウンドを導出し、優れたティーチャーではサンプルの複雑性が低下することを示す。
• 複数のティーチャーから構築されたグランドティーチャーポリシーを用いて学習を導き、学生の探索を許容する。
• 理論的分析を適用し、部分的に最適でないティーチャーであっても最適性への収束が妨げられないことを示す。
• オンライン強化学習のレギュレート最小化を活用し、パフォーマンスとトランスファー品質を正式に分析する。

実験結果

リサーチクエスチョン

• RQ1 マルチティーチャーポリシー助言設定において、ネガティブトランスファーはどのような条件下で発生するか？
• RQ2 ティーチャーポリシーの質は、学生エージェントのサンプル複雑性とレギュレートにどのように影響するか？
• RQ3 非最適ティーチャーからの助言を受けた場合でも、学生は最適な行動を達成できるか？
• RQ4 弱く通信可能なMDPにおけるマルチティーチャーポリシー助言に対して、理論的保証をどのように導出できるか？
• RQ5 このフレームワークにおいて、ティーチャーの質と学習効率の正式な関係は何か？

主な発見

• 提案されたアルゴリズムは、すべてのティーチャーが非最適であっても最適性を達成できることを示し、劣った助言に対してもロバストであることを実証した。
• レギュレートバウンドにより、劣ったティーチャーでは学習パフォーマンスが低下することが定量的に示され、劣ったティーチャーが学習を妨げるという直観が裏付けられた。
• 本稿では、初めてポリシー助言設定においてネガティブトランスファーを形式的に定量評価し、式(6)にその発生条件を導出した。
• 「十分良い」ティーチャーを仮定する従来手法や、ティーチャーのパフォーマンスを超えることができない手法に比べ、本手法は優れた性能を示した。
• 理論的分析により、単一ティーチャー助言モデルが本稿で提案するマルチティーチャーフレームワークの特殊ケースであることが確認された。
• 本フレームワークでは、イミターションベースの手法とは異なり、学生が自律的探索を活用することでティーチャーのパフォーマンスを上回ることが可能である。