[論文レビュー] Unifying PAC and Regret: Uniform PAC Bounds for Episodic Reinforcement Learning

Christoph Dann, Tor Lattimore+1 more|arXiv (Cornell University)|Mar 22, 2017

Advanced Bandit Algorithms Research参考文献 23被引用数 60

ひとこと要約

本論文は Uniform-PAC という、エピソードごとの RL における PAC と regret を統合する枠組みを提案し、時間一様な Law of Iterated Logarithm 確信区間を用いて近似最適な Uniform-PAC および regret 境界を実現する楽観的アルゴリズム UBEV を提示します。

ABSTRACT

Statistical performance bounds for reinforcement learning (RL) algorithms can be critical for high-stakes applications like healthcare. This paper introduces a new framework for theoretically measuring the performance of such algorithms called Uniform-PAC, which is a strengthening of the classical Probably Approximately Correct (PAC) framework. In contrast to the PAC framework, the uniform version may be used to derive high probability regret guarantees and so forms a bridge between the two setups that has been missing in the literature. We demonstrate the benefits of the new framework for finite-state episodic MDPs with a new algorithm that is Uniform-PAC and simultaneously achieves optimal regret and PAC guarantees except for a factor of the horizon.

研究の動機と目的

• エピソードRLにおいて、すべての ε レベルの誤差を同時に上限化する性能保証の必要性を動機づける。
• Uniform-PAC を、PAC の強力で時間一様な拡張として定義し、高確率の regret 境界を含意する。
• Uniform-PAC を達成すると同時にほぼ最適な PAC および regret 保証を提供するアルゴリズムを開発する。
• Uniform-PAC が高い確率で最適方策への収束を示す理論解析を提供する。

提案手法

• Uniform-PAC をフレームワークとして導入し、PAC および regret 保証と関連づける。
• 時間一様の Law of Iterated Logarithm (LIL) 確信区間を用いる楽観的な RL アルゴリズム UBEV を提案する。
• 時間依存ダイナミクスを持つエピソード固定ホライズン MDP をモデル化し、遷移と報酬に対する信頼区間を用いた後退帰納を適用する。
• LIL ベースの信頼幅 phi(s,a,t) = sqrt((2 ln ln max{e,n(s,a,t)}) + ln(18SAH/δ)) / sqrt(n(s,a,t)).
• UBEV が Uniform-PAC 境界とほぼ最適な regret を達成することを示し、サンプル複雑性および regret の依存性は Theorem 4 に記載のとおりである。

実験結果

リサーチクエスチョン

• RQ1 Uniform-PAC はエピソードRLにおけるすべての ε レベルに対して同時に高確率保証を提供できるか。
• RQ2 アルゴリズムは Uniform-PAC であり、かつほぼ最適な PAC および regret 保証を達成できるか。
• RQ3 RL において均一で時間に左右されない保証を可能にする信頼区間構成とは何か？
• RQ4 Uniform-PAC の保証は、エピソード MDP における既存の PAC および regret の概念とどう関連するか。
• RQ5 PAC または regret 保証を Uniform-PAC 保証へ変換する理論的限界は何か？

主な発見

• UBEV は ε エラー回数の境界を持つ Uniform-PAC で、そのスケーリングは O(SAGH^4/ε^2) に polylog 因子を掛けた形。
• 確率が少なくとも 1−δ のとき、UBEV は regret R(T) = O(H^2(√(SAT) + S^3A^2) polylog(S,A,H,T)) を保証する。
• Uniform-PAC の保証は高確率で最適方策への収束を意味し、Uniform High-Probability Regret bound を得られる。
• Uniform-PAC は PAC および high-probability regret の双方より厳密に強いことが示され、適用可能な場合には両方を含意する。
• UBEV は time-uniform LIL 確信区間を用い、n に対して sqrt((log log n)/n) に縮小するため、すべてのエピソードに対して均一な保証を可能にする。
• 境界は prior MBIE-type 結果よりもホライゾン依存を減らし、S, A, H に対するほぼ最適な依存性を達成している。