[論文レビュー] Online Regret Bounds for Undiscounted Continuous Reinforcement Learning

Ronald Ortner, Daniil Ryabko|arXiv (Cornell University)|Feb 11, 2013

Advanced Bandit Algorithms Research参考文献 22被引用数 44

ひとこと要約

本稿では、連続状態空間における割引なし連続MDPに対する強化学習アルゴリズムを提示する。状態集合化と上側信頼区間（UCB）を組み合わせることで、不確実性に対する楽観的アプローチを実現する。報酬関数と遷移確率関数が Hölder 継続的であるという仮定の下で、$ ilde{O}(T^{(2+α)/(2+2α)})$ の最初のサブ線形レギュラリティバウンドを確立する。$α=1$ の1次元では $ ilde{O}(T^{3/4})$ となり、$ ilde{O}(T^{3/4})$ の下界 $ ilde{O}(√{T})$ が一致する。

ABSTRACT

We derive sublinear regret bounds for undiscounted reinforcement learning in continuous state space. The proposed algorithm combines state aggregation with the use of upper confidence bounds for implementing optimism in the face of uncertainty. Beside the existence of an optimal policy which satisfies the Poisson equation, the only assumptions made are Holder continuity of rewards and transition probabilities.

研究の動機と目的

• 割引なし連続状態空間における強化学習の、証明可能な効率性を持つオンライン学習アルゴリズムの開発。
• 生成モデルやリセットへのアクセスなしに、最小限の仮定の下で連続MDPのレギュラリティバウンドを導出すること。
• 報酬関数と遷移関数が Hölder 継続的であるような連続ドメインにおける学習の理論的保証を確立すること。
• 既存のバンディットレギュラリティバウンドを、連続状態を持つ完全なMDP設定に一般化すること。
• 一般の割引なし連続強化学習に対する最初のレギュラリティバウンドを提供し、一致する下界を示すこと。

提案手法

• アルゴリズムは状態集合化を用いて連続状態空間を区間へ離散化し、有限状態近似を可能にする。
• 不確実性に対する楽観的アプローチを実現するために、上側信頼区間（UCB）を適用し、訪問回数が少ない状態行動ペアの探索を促進する。
• オンライン学習とエピソードベースの更新を組み合わせ、価値推定の信頼区間を維持する。
• レギュラリティは推定誤差、集合化誤差、モデル不確実性に分解され、Hölder 継続性と集中不等式を用いてそれぞれバウンドされる。
• Poisson方程式フレームワークにおけるバイアス関数推定から生じるマルティンゲール差分に、Azuma-Hoeffding 不等式を適用する。
• 時間ステップとエピソード数の和集合を用いたバウンドにより、高確率でのレギュラリティバウンドを保証し、対数的および多項式的項の取り扱いに注意を払う。

実験結果

リサーチクエスチョン

• RQ1 リセットや生成モデルへのアクセスなしに、割引なし連続強化学習でサブ線形レギュラリティを達成できるか？
• RQ2 Hölder 継続的報酬関数と遷移関数を持つ連続MDPにおいて、探索と活用の最適なトレードオフは何か？
• RQ3 連続状態空間における次元数と滑らかさ（Hölder パrameter $α$）が、レギュラリティバウンドにどのように影響するか？
• RQ4 この設定におけるレギュラリティに一致する下界を導出することは可能か？
• RQ5 理論的枠組みを連続行動空間やより一般的な関数クラスに拡張できるか？

主な発見

• 提案されたアルゴリズムは、Hölder 継続的報酬関数と遷移関数を有する1次元連続MDPに対して、$ ilde{O}(T^{(2+α)/(2+2α)})$ のレギュラリティバウンドを達成する。
• Lipschitzの場合（$α=1$）では、1次元でレギュラリティバウンドが $ ilde{O}(T^{3/4})$ に簡略化される。
• $d$ 次元状態空間では、レギュラリティバウンドが $ ilde{O}(T^{(2d+α)/(2d+2α)})$ に一般化される。
• 一致する下界 $Ω(\sqrt{T})$ が確立され、上界がほぼタイトであることが示される。
• 解析は Poisson方程式とバイアス関数分解に依存し、Azuma-Hoeffding 不等式による高確率集中を用いる。
• 本研究は、最小限の滑らかさ仮定の下で、一般の割引なし連続強化学習に対する最初のレギュラリティバウンドを提供する。