[論文レビュー] The Online Discovery Problem and Its Application to Lifelong Reinforcement Learning.

Emma Brunskill, Lihong Li|arXiv (Cornell University)|Jun 10, 2015

Reinforcement Learning in Robotics参考文献 15被引用数 4

ひとこと要約

本論文は、共有された状態・行動空間を有するが遷移確率と報酬が異なる関連するMDPの系列にわたる効率的な生涯強化学習を可能にするオンライン発見問題を導入する。本研究では、タスク間の探索と移転を活用することで、単一タスク学習と比較して全体のサンプル複雑度を顕著に低減する最適な学習アルゴリズムを提案する。これは、敵対的タスク順序に対しても有効である。

ABSTRACT

Transferring knowledge across a sequence of related tasks is an important challenge in reinforcement learning. Despite much encouraging empirical evidence that shows benefits of transfer, there has been very little theoretical analysis. In this paper, we study a class of lifelong reinforcement-learning problems: the agent solves a sequence of tasks modeled as finite Markov decision processes (MDPs), each of which is from a finite set of MDPs with the same state/action spaces and different transition/reward functions. Inspired by the need for cross-task exploration in lifelong learning, we formulate a novel online discovery problem and give an optimal learning algorithm to solve it. Such results allow us to develop a new lifelong reinforcement-learning algorithm, whose overall sample complexity in a sequence of tasks is much smaller than that of single-task learning, with high probability, even if the sequence of tasks is generated by an adversary. Benefits of the algorithm are demonstrated in a simulated problem.

研究の動機と目的

• 順次的な強化学習タスク間の知識移転に関する理論的分析の不足に取り組む。
• 生涯学習設定におけるタスク間探索をモデル化する新しいオンライン発見問題を定式化する。
• 共有構造を持つタスクの系列において、全体のサンプル複雑度を最小化するアルゴリズムを開発する。
• 敵対的タスク順序に対しても耐性を確保しながら、高確率での性能保証を維持する。
• シミュレーテッド環境における実験的評価を通じて、本手法の実用的利点を示す。

提案手法

• 生涯強化学習を、同一の状態空間と行動空間を持つ有限個の可能なMDPからなる有限なMDPの系列としてモデル化する。
• オンライン発見問題を、エージェントがリアルタイムで新たなMDPを同定し適応しなければならない学習タスクとして定式化する。
• タスク間の探索と既知のタスク構造の活用をバランスさせる最適な学習アルゴリズムを設計する。
• 観測された遷移と報酬に基づいて、メタラーナー・フレームワークを用いてタスク間でポリシーを維持・更新する。
• MDP間の共有構造を活用することで、重複学習を低減し収束を加速する。
• タスク発見に特化した探索戦略を組み込むことで、サンプル複雑度に対する高確率バインディングを保証する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、生涯学習設定における関連するMDPの系列間で知識を効果的に移転できるか？
• RQ2 順次的タスク実行中に、リアルタイムで新たなMDPを効果的に発見・適応する最適な方法は何か？
• RQ3 敵対的タスクシーケンスにおいて、単一タスク学習と比較して顕著に低いサンプル複雑度を達成できる学習アルゴリズムは存在するか？
• RQ4 タスク間探索を伴う生涯強化学習において、サンプル効率性と収束性に関する理論的保証はどのようなものか？
• RQ5 本手法は、単一タスク学習と比較して、全体の学習効率においてどのように差をつけるか？

主な発見

• 提案手法は、単一タスク学習と比較して、タスクの系列全体において顕著に低い全体のサンプル複雑度を達成する。
• タスクの順序が敵対的に選ばれた場合でも、高い確率での性能保証を維持する。
• タスク間探索により、関連するMDP間での学習の収束が速まり、冗長性が低減する。
• 理論的分析により、提示されたオンライン発見問題に対して、アルゴリズムが最適であることが確認された。
• シミュレーテッド環境での実験結果により、本手法のサンプル効率性および移転性能の利点が裏付けられた。
• 本手法は、タスク順序を事前に知らなくても、MDP間の構造的類似性を活用することで、効果的な生涯学習を可能にする。