[論文レビュー] Average reward reinforcement learning with unknown mixing times.

Tom Zahavy, Alon Cohen+2 more|arXiv (Cornell University)|May 23, 2019

Reinforcement Learning in Robotics参考文献 17被引用数 6

ひとこと要約

本稿では、混合時間の上界を必要としない平均報酬設定向けの新規強化学習アルゴリズムを提案する。これは先行研究における主要な制限要因である。著者らはマーカフ連鎖理論を活用し、サンプリングに基づく手法を設計することで、サンプル複雑性と実行時間に関する理論的保証を得た。これにより、混合時間が未知または無限大である環境でも効率的な学習が可能になる。

ABSTRACT

We derive and analyze learning algorithms for apprenticeship learning, policy evaluation, and policy gradient for average reward criteria. Existing algorithms explicitly require an upper bound on the mixing time. In contrast, we build on ideas from Markov chain theory and derive sampling algorithms that do not require such an upper bound. For these algorithms, we provide theoretical bounds on their sample-complexity and running time.

研究の動機と目的

• 既存の平均報酬強化学習アルゴリズムが混合時間の上界を必要としているという制限を解消すること。
• 混合時間が未知または無限大である環境でも頑健な学習を可能にすること。
• アプレンティシップ学習、ポリシー評価、ポリシー勾配の各タスクに対して、サンプリングベースのアルゴリズムを構築すること。
• 混合時間の仮定に依存しない、サンプル複雑性と実行時間に関する理論的境界を提供すること。
• 複雑なダイナミクスを示す現実世界の実用的状況において、平均報酬強化学習の理論的基盤を前進させること。

提案手法

• マーカフ連鎖理論からの理論的知見を活用し、未知の混合時間に強く耐性を持つアルゴリズムを設計すること。
• 混合時間の明示的知識なしに、価値関数と勾配を推定するためのサンプリングベースの手続きを構築すること。
• 軌道上の経験平均を用いて長期平均報酬を近似し、弱い仮定のもとで収束を保証すること。
• 混合時間の上界を要件としない、サンプル複雑性と実行時間の境界を導く、新規の分析フレームワークを導入すること。
• このフレームワークを、アプレンティシップ学習、ポリシー評価、ポリシー勾配最適化という3つの主要なRLタスクに適用すること。
• 平均報酬設定に適応した濃度不等式とマルティンゲールの議論を用いて、理論的保証を確立すること。

実験結果

リサーチクエスチョン

• RQ1 混合時間の上界を必要としない平均報酬強化学習アルゴリズムを設計できるか？
• RQ2 混合時間の上界が存在しない状況でも、サンプル効率性と実行時間の保証をどのように確保できるか？
• RQ3 提案手法は、理論的保証のもとでアプレンティシップ学習とポリシー勾配に適用可能か？
• RQ4 未知の混合挙動を示す平均報酬設定における学習を分析するために必要な理論的ツールは何か？
• RQ5 弱い仮定のもとで、提案手法のサンプル複雑性と実行時間は、既存手法と比べてどのように異なるか？

主な発見

• 提案手法は、混合時間の上界を要件とせず、サンプル複雑性と実行時間に関する理論的境界を達成している。
• 混合時間が未知または無限大であっても、正当なポリシー評価とポリシー勾配更新が可能である。
• 理論的分析により、サンプリングベースの推定のみを用いても、平均報酬基準のもとで最適ポリシーへの収束が保証される。
• フレームワークはアプレンティシップ学習に適用可能であり、模倣学習の文脈へも応用可能である。
• 経験平均とマーカフ連鎖の濃度特性に依存することで、強い性能保証を維持している。
• 結果として、混合時間の境界が平均報酬強化学習における効率的学習に必要ではないことが示された。これは、文献における従来の仮定に挑戦するものである。