[論文レビュー] Adaptive Sampling for Best Policy Identification in Markov Decision Processes

Aymen Al Marjani, Alexandre Proutière|arXiv (Cornell University)|Sep 28, 2020

Advanced Bandit Algorithms Research参考文献 15被引用数 8

ひとこと要約

本稿では、生成モデルを用いた割引マルコフ決定過程（MDP）における最良方策同定のための、新たな適応的サンプリング手法KLB-TSを提案する。問題固有のタイトなサンプル複雑度上界を導出し、明示的かつほぼ最適なサンプル配分を追跡することで、ほとんど確実かつ期待値の両方の保証を得た非漸近的最適なサンプル複雑度を達成する。BESPOKEなどの最先端手法と比較して、初期化フェーズが著しく短く、より優れた適応性を示すため、実用的にも優れている。

ABSTRACT

We investigate the problem of best-policy identification in discounted Markov Decision Processes (MDPs) when the learner has access to a generative model. The objective is to devise a learning algorithm returning the best policy as early as possible. We first derive a problem-specific lower bound of the sample complexity satisfied by any learning algorithm. This lower bound corresponds to an optimal sample allocation that solves a non-convex program, and hence, is hard to exploit in the design of efficient algorithms. We then provide a simple and tight upper bound of the sample complexity lower bound, whose corresponding nearly-optimal sample allocation becomes explicit. The upper bound depends on specific functionals of the MDP such as the sub-optimality gaps and the variance of the next-state value function, and thus really captures the hardness of the MDP. Finally, we devise KLB-TS (KL Ball Track-and-Stop), an algorithm tracking this nearly-optimal allocation, and provide asymptotic guarantees for its sample complexity (both almost surely and in expectation). The advantages of KLB-TS against state-of-the-art algorithms are discussed and illustrated numerically.

研究の動機と目的

• 最小最大サンプル複雑度の上限が、特定のMDPの本質的難易度を反映しないという限界を解消すること。
• サブ最適性ギャップや価値関数の分散といった関数的要因を用いて、MDPの真の難易度を捉える問題固有のサンプル複雑度下限を導出すること。
• タイトな下限の上界を厳密に得た、ほぼ最適なサンプル配分を追跡できる効率的で適応的なアルゴリズムの設計。
• 提案アルゴリズムのサンプル複雑度に対して、ほとんど確実かつ期待値の両方の理論的保証を提供し、非漸近的最適性を保証すること。

提案手法

• MDPの難易度を反映する非凸最適化問題を解くことで、$ T^*(\phi) $ が得られる問題固有のサンプル複雑度下限 $ T^*(\phi)\log(1/\delta) $ を導出する。
• サブ最適性ギャップ、分散、価値関数の最大偏差といったMDP関数的要因に依存する、$ T^*(\phi) $ の明示的かつタイトな上界 $ U(\phi) $ を導入する。
• KLB-TSアルゴリズムを設計し、$ U(\phi) $ に対応するサンプル配分を追跡することで、効率的かつ適応的なサンプリングを実現する。
• $ U(\phi) $ の導出にインspiredされたKLボールストッピングルールを実装し、高い信頼性で十分な情報が得られた段階で停止を決定する。
• 推定されたMDPパラメータに基づいて動的にサンプリングを調整するトラックアンドストップフレームワークを用い、最小限のサンプル数で最適方策への収束を保証する。
• KLB-TSの非漸近的ほとんど確実かつ期待値ベースのサンプル複雑度保証を証明し、上界 $ U(\phi)\log(1/\delta) $ と一致することを示す。

実験結果

リサーチクエスチョン

• RQ1 最小最大境界を超えて、MDPの真の難易度を反映する問題固有のサンプル複雑度下限を、最良方策同定の文脈で導出可能か？
• RQ2 実用的アルゴリズム設計を可能にする、問題固有の下限に対するタイトで明示的な上界を導出可能か？
• RQ3 この上界に示唆されるほぼ最適なサンプル配分を追跡できる適応的サンプリング戦略をどのように設計できるか？
• RQ4 PAC保証を維持しつつ、非漸近的最適性を達成するストップルールは何か？
• RQ5 提案されたKLB-TSアルゴリズムは、BESPOKEなどの既存の最先端手法と比較して、性能と適応性においてどのように優れているか？

主な発見

• KLB-TSは、$ \mathcal{O}\big(U(\phi)\log(1\delta)\big) $ の非漸近的サンプル複雑度を達成し、導出された上界 $ U(\phi) $ と一致する。この保証は、ほとんど確実かつ期待値の両方で成り立つ。
• 数値実験において、BESPOKEを著しく上回る性能を示す。主な要因は、初期化フェーズがはるかに短く、コストが低いことにある。
• BESPOKEの初期化フェーズは、定数項 $ \frac{S^2A}{(1-\gamma)^2} $ を含み、これがサンプル複雑度を支配し、非漸近的保証があるものの実用的でない。
• KLB-TSは、方策更新時に凸計画問題を解く必要がなく、代わりに計算的に効率的な明示的・閉形式のサンプリング戦略に依存する。
• KLB-TSのサンプル複雑度は、サブ最適性ギャップ、価値関数の分散、最大偏差といったMDP固有の関数的要因に依存し、簡単なMDPに対して強い適応性を示す。
• 最悪ケースでは、KLB-TSとBESPOKEの両方が $ \tilde{\mathcal{O}}\big(\frac{SA}{\Delta_{\min}^2(1-\gamma)^3}\big) $ のスケーリングを示し、最小最大下限と一致するが、KLB-TSはより良い定数と適応性を達成する。