[論文レビュー] $\sqrt{n}$-Regret for Learning in Markov Decision Processes with Function Approximation and Low Bellman Rank

Kefan Dong, Jian Peng+2 more|arXiv (Cornell University)|Sep 5, 2019

Advanced Bandit Algorithms Research参考文献 45被引用数 4

ひとこと要約

本稿では、関数近似と低ベルマンランクを有するマルコフ決定過程（MDP）に対するオンライン強化学習アルゴリズムである AVE（Adaptive Value-function Elimination）を提案する。方策排除を文脈的バンディット問題に再定式化し、アクティブな排除とエキスパート重み付けを活用することで、√n-レグレットを達成した。これは、一般関数近似を用いる確率的MDPにおいて、初めての結果であり、従来の手法と比べて顕著に改善されたレグレットバウンドを達成した。

ABSTRACT

In this paper, we consider the problem of online learning of Markov decision processes (MDPs) with very large state spaces. Under the assumptions of realizable function approximation and low Bellman ranks, we develop an online learning algorithm that learns the optimal value function while at the same time achieving very low cumulative regret during the learning process. Our learning algorithm, Adaptive Value-function Elimination (AVE), is inspired by the policy elimination algorithm proposed in (Jiang et al., 2017), known as OLIVE. One of our key technical contributions in AVE is to formulate the elimination steps in OLIVE as contextual bandit problems. This technique enables us to apply the active elimination and expert weighting methods from (Dudik et al., 2011), instead of the random action exploration scheme used in the original OLIVE algorithm, for more efficient exploration and better control of the regret incurred in each policy elimination step. To the best of our knowledge, this is the first $\sqrt{n}$-regret result for reinforcement learning in stochastic MDPs with general value function approximation.

研究の動機と目的

• 大規模な状態空間を有するMDPにおいて、関数近似を用いて低レグレットを達成する強化学習アルゴリズムの開発。
• 未知の遷移および報酬関数を有するMDPにおける効率的な探索の課題の解決。
• 従来の方策排除の研究を拡張し、一般関数クラスを用いて√n-レグレットを達成すること。
• OLIVEと比較して、行動空間のサイズAに依存するレグレットの改善を図る。そのために、ベルシュタイン型の一様集中不等式を用いる。
• 疑似次元およびナタラジャン次元を用いて、無限の仮説空間への一般化を実現すること。

提案手法

• OLIVEにおける方策排除のステップを文脈的バンディット問題に定式化することで、アクティブな探索を可能にする。
• 文脈的バンディットから得たアクティブな排除とエキスパート重み付けの技術を応用し、各排除段階におけるレグレットを低減する。
• 推定誤差を制御し、Aに依存する依存関係を改善するために、ベルシュタイン型の一様集中定理（補題F.3）を用いる。
• 先行研究から取り入れた体積的議論を、関数近似および低ベルマンランクに適応する。
• 洗練されたパラメータスケジュールと、価値関数クラスに対する二分探索を導入し、探索と活用のバランスを取る。
• 有限関数クラスにおける一様収束を、無限の仮説空間に対して疑似次元およびナタラジャン次元に基づく境界に置き換える。

実験結果

リサーチクエスチョン

• RQ1 一般関数近似と未知のダイナミクスを有する確率的MDPにおいて、√n-レグレットを達成できるか？
• RQ2 OLIVEのような既存のアルゴリズムと比較して、行動空間のサイズAに依存するレグレットをどのように改善できるか？
• RQ3 統計的複雑度の測度を用いて、無限の仮説空間への方策排除フレームワークの拡張は可能か？
• RQ4 文脈的バンディット技術は、MDP学習プロセス内での効率的探索をどのように可能にするか？
• RQ5 ベルシュタイン型の集中不等式は、関数近似設定において、レグレットバウンドを改善し、Aに依存する依存関係を低減できるか？

主な発見

• アルゴリズムは高確率で√n-レグレットを達成し、一般関数近似を用いる確率的MDPにおいて、これが初めての結果である。
• レグレットバウンドは、Õ(√(M²AH⁴(d_Π + d_𝒱)n))とスケーリングされ、d_Πとd_𝒱はそれぞれ方策および価値関数クラスのナタラジャン次元と疑似次元を表す。
• Aに依存する依存関係が、A²からAに改善された。これは補題F.3の適用による。
• |ℱ|を統計的複雑度の測度d_Πとd_𝒱に置き換えることで、無限の仮説空間への一般化が実現された。
• ϵ-最適性を達成するためのサンプル複雑度は、Õ(M²AH⁴(d_Π + d_𝒱)/ϵ²)であり、OLIVEのÕ(M²A²H³(d_Π + d_𝒱)/ϵ²)よりも改善された。
• 排除プロセスが文脈的バンディット問題として再解釈され、アクティブな探索とよりタイトなレグレット制御が可能になった。