[論文レビュー] Posterior Sampling for Reinforcement Learning Without Episodes

Ian Osband, Benjamin Van Roy|arXiv (Cornell University)|Aug 9, 2016

Advanced Bandit Algorithms Research参考文献 7被引用数 8

ひとこと要約

この論文は、非エピソード的で無限時間ホライズンのMDPにおける後方サンプリング強化学習（PSRL）のレグレットバウンドの証明における深刻な欠陥を特定し、特にAbbasi-Yadkori & Szepesvári（2015）の定理2の妥当性に疑問を呈する。誤った議論の反例を提示し、結果を予想と再分類し、人工的エピソード長、ダブルイング・トリック、滑らかにした後方サンプリングといった実用的戦略を提案することで、連続的かつ非エピソード的環境へのPSRLの効果的適用を可能にする。

ABSTRACT

This is a brief technical note to clarify some of the issues with applying the application of the algorithm posterior sampling for reinforcement learning (PSRL) in environments without fixed episodes. In particular, this paper aims to: - Review some of results which have been proven for finite horizon MDPs (Osband et al 2013, 2014a, 2014b, 2016) and also for MDPs with finite ergodic structure (Gopalan et al 2014). - Review similar results for optimistic algorithms in infinite horizon problems (Jaksch et al 2010, Bartlett and Tewari 2009, Abbasi-Yadkori and Szepesvari 2011), with particular attention to the dynamic episode growth. - Highlight the delicate technical issue which has led to a fault in the proof of the lazy-PSRL algorithm (Abbasi-Yadkori and Szepesvari 2015). We present an explicit counterexample to this style of argument. Therefore, we suggest that the Theorem 2 in (Abbasi-Yadkori and Szepesvari 2015) be instead considered a conjecture, as it has no rigorous proof. - Present pragmatic approaches to apply PSRL in infinite horizon problems. We conjecture that, under some additional assumptions, it will be possible to obtain bounds $O( \sqrt{T} )$ even without episodic reset. We hope that this note serves to clarify existing results in the field of reinforcement learning and provides interesting motivation for future work.

研究の動機と目的

• 無限時間ホライズンMDPにおけるPSRLのレグレットバウンドの証明における技術的欠陥を特定・是正すること。
• 非エピソード的設定における「なまけたPSRL」バリアントのO(√T)レグレットを主張するAbbasi-YadkoriとSzepesvári（2015）の定理2の妥当性に疑問を呈すること。
• 固定エピソード境界のない環境へのPSRLの適用に実用的で、経験的に有効な手法を提供すること。
• エピソード的から非エピソード的強化学習設定への理論的保証の拡張を促進すること。

提案手法

• Abbasi-YadkoriとSzepesvári（2015）の誤った議論の反例を構築し、期待レグレットが0であるという主張が誤りであることを示す。
• 無限時間ホライズンMDPの文脈において、問題を拡張された状態空間を持つ有限時間ホライズンMDPの特別なケースとして再解釈することで、PSRLアルゴリズムを再定式化する。
• 非エピソード的環境へのPSRLの実用的適合策を提案する。具体的には、自然な時間フレームワークや割引率に基づいた人工的エピソード長の導入。
• 時間経過に伴いMDPのサンプルを線形補間することで、急激な方策変更を回避する滑らかにした後方サンプリングの導入。
• 最適方策のホライズンが不明な場合に、動的エピソード長適応のための「ダブルイング・トリック」を推奨する。
• MDPパラメータに対するベイズ的後方分布を用い、現在と過去の後方分布サンプルの重み付き平均を適用することで、方策選択の安定化を図る。

実験結果

リサーチクエスチョン

• RQ1 Abbasi-YadkoriとSzepesvári（2015）の非エピソード的MDPにおけるPSRLのレグレットバウンドの証明における、定理2の欠陥は何か？
• RQ2 条件付き独立性に基づく期待レグレットが0であるという議論は、無限時間ホライズン設定でも有効であるか？
• RQ3 追加の仮定のもとで、非エピソード的MDPにおけるPSRLでO(√T)レグレットを達成することは可能か？
• RQ4 固定エピソード境界のない環境にPSRLを効果的に適用するための実用的戦略は何か？
• RQ5 エピソード境界が人工的または動的に変化する場合、後方サンプリングをどのように適合させれば、安定性とパフォーマンスを維持できるか？

主な発見

• Abbasi-YadkoriとSzepesvári（2015）の定理2の誤った証明における主張とは異なり、期待レグレットが0であるという主張が誤りであることを示す反例を構築した。これは、E[λ* - λk(t)k(t) | Hk(t)1] = 0 であるという主張と矛盾する。
• 反例により、Hmax=1000の場合、T=1000ステップで少なくとも249のレグレットが生じることを示し、期待レグレットが0であるという主張を反証した。
• Abbasi-YadkoriとSzepesvári（2015）の定理2の証明は、条件付き期待値の誤った使用により無効であり、この結果は予想とみなすべきである。
• 厳密なレグレットバウンドが存在しないにもかかわらず、経験的証拠は非エピソード的設定でもPSRLが良好に動作することを示しており、追加の仮定のもとでこの結果が依然として真である可能性がある。
• 人工的エピソード長、ダブルイング・トリック、滑らかにした後方サンプリングといった実用的アプローチは、エピソードリセットなしでのPSRL適用において実際の効果を示している。
• 非エピソード的設定へのO(√T)レグレットバウンドの理論的拡張は未解決の問題のままだが、本論文は今後の研究の基盤を提供している。