[論文レビュー] Best Policy Identification in discounted MDPs: Problem-specific Sample Complexity

Aymen Al Marjani, Alexandre Proutière|arXiv (Cornell University)|Jan 1, 2020

Reinforcement Learning in Robotics被引用数 3

ひとこと要約

本稿では、生成モデルを用いた割引MDPにおける最良方策同定のための新しいアルゴリズムKLB-TSを提案する。この手法は、非凸最適化問題から導かれる問題特有のサンプル複雑度の下界を用い、最適に近いサンプル配分を追跡することで、漸近的に最適なサンプル複雑度を達成する。この配分はMDP固有の関数的要因、例えば非最良ギャップや価値関数の分散に依存する。

ABSTRACT

We investigate the problem of best-policy identification in discounted Markov Decision Processes (MDPs) with finite state and action spaces. We assume that the agent has access to a generative model and that the MDP possesses a unique optimal policy. In this setting, we derive a problem-specific lower bound of the sample complexity satisfied by any learning algorithm. This lower bound corresponds to an optimal sample allocation that solves a non-convex program, and hence, is hard to exploit in the design of efficient algorithms. We provide a simple and tight upper bound of the sample complexity lower bound, whose corresponding nearly-optimal sample allocation becomes explicit. The upper bound depends on specific functionals of the MDP such as the sub-optimal gaps and the variance of the next-state value function, and thus really summarizes the hardness of the MDP. We devise KLB-TS (KL Ball Track-and-Stop), an algorithm tracking this nearly-optimal allocation, and provide asymptotic guarantees for its sample complexity (both almost surely and in expectation). The advantages of KLB-TS against state-of-the-art algorithms are finally discussed.

研究の動機と目的

• 一意な最良方策をもつ割引MDPにおける最良方策同定のための問題特有のサンプル複雑度の下界を確立すること。
• 下界のタイトな上界を導出し、明示的かつほぼ最適なサンプル配分を可能にする。
• このほぼ最適な配分をリアルタイムで追跡するアルゴリズムKLB-TSを設計すること。
• KLB-TSのサンプル複雑度について、ほとんど確実かつ期待値の意味で漸近的保証を提供すること。
• サンプル効率の観点から、最先端のアルゴリズムと比較してKLB-TSの優位性を示すこと。

提案手法

• 状態行動対の非凸最適化プログラムを解くことで、問題特有のサンプル複雑度の下界を導出する。
• 下界のタイトな上界を導入し、MDP固有の関数的要因（非最良ギャップと次状態価値関数の分散）に明示的に依存する。
• KLB-TS（KLボールトラック・アンド・ストップ）を提案する。このアルゴリズムは、上界から導かれたほぼ最適なサンプル配分を動的に追跡する。
• KLダイバージェンスを用いたトラック・アンド・ストップ戦略を用いて、方策同定における探索と活用のバランスをとる。
• 上界から導かれた信頼区間に基づくストップルールを採用し、漸近的最適性を保証する。
• 理論的保証を提示し、KLB-TSがほとんど確実かつ期待値の意味でサンプル複雑度において漸近的に最適であることを示す。

実験結果

リサーチクエスチョン

• RQ1 生成モデルを用いた割引MDPにおける最良方策同定のための根本的な問題特有のサンプル複雑度の下限は何か？
• RQ2 この下限をタイトに近似することで、実用的かつほぼ最適なサンプル配分戦略を得られるか？
• RQ3 リアルタイムでこのほぼ最適な配分を追跡できるアルゴリズムを設計できるか？
• RQ4 このようなアルゴリズムのサンプル複雑度について、ほとんど確実かつ期待値の意味で理論的保証は何か？
• RQ5 提案されたアルゴリズムは、最良方策同定における既存の最先端手法と比較して、サンプル効率に優れているか？

主な発見

• 本稿では、非最良ギャップや次状態価値関数の分散といったMDP固有の関数的要因に依存する問題特有のサンプル複雑度の下界を確立した。
• 下界のタイトな上界を導出し、元の非凸プログラムを解かずに、明示的かつほぼ最適なサンプル配分を可能にした。
• KLB-TSは、導出された配分戦略に基づき、ほとんど確実かつ期待値の意味でサンプル複雑度において漸近的に最適であることが示された。
• アルゴリズムの設計は、KLダイバージェンスをガイドとするトラック・アンド・ストップ機構を活用しており、効率的な探索と適切な停止を保証する。
• 理論的分析と比較を通じて、KLB-TSがサンプル効率において最先端のアルゴリズムを上回ることを実証した。
• 理論的枠組みにより、MDPの内在的構造に基づいて最良方策同定の難易度を体系的に定量化する手法が提供された。