[論文レビュー] Algorithms and Bounds for Rollout Sampling Approximate Policy Iteration

Christos Dimitrakakis, Michail G. Lagoudakis|ArXiv.org|May 14, 2008

Advanced Bandit Algorithms Research参考文献 9被引用数 5

ひとこと要約

本稿では、連続的MDPにおける近似方策反復における2つのロールアウトサンプリング戦略を提案および分析し、均一サンプリングと、必要に応じてのみサンプルを割り当てる適応的メソッドを比較している。主な貢献は、確率的保証を維持したまま、均一サンプリングに比べて著しく効率性を向上させる、$
epsilon^{-2}$ のオーダーの理論的サンプル複雑性の低減である。

ABSTRACT

Several approximate policy iteration schemes without value functions, which focus on policy representation using classifiers and address policy learning as a supervised learning problem, have been proposed recently. Finding good policies with such methods requires not only an appropriate classifier, but also reliable examples of best actions, covering the state space sufficiently. Up to this time, little work has been done on appropriate covering schemes and on methods for reducing the sample complexity of such methods, especially in continuous state spaces. This paper focuses on the simplest possible covering scheme (a discretized grid over the state space) and performs a sample-complexity comparison between the simplest (and previously commonly used) rollout sampling allocation strategy, which allocates samples equally at each state under consideration, and an almost as simple method, which allocates samples only as needed and requires significantly fewer samples.

研究の動機と目的

• 連続的MDPにおける近似方策反復におけるロールアウトサンプリングの高いサンプル複雑性に対処すること。
• 均一サンプリングと不確実性に基づく適応的サンプリングの2つのサンプル割り当て戦略の分析と比較すること。
• 高確率での方策改善のためのサンプル複雑性の理論的境界を提供すること。
• すでに十分に理解された状態に無駄にサンプルを割り当ててしまう均一サンプリングへの依存を減らすこと。
• 価値関数を用いない方策学習における知的なサンプリングの理論的基盤を構築すること。

提案手法

• 方策学習のための連続的状態空間上のグリッド離散化を用いる。
• 価値関数の明示的表現なしに、アクション価値の推定と方策の改善のためのロールアウトシミュレーションを実施する。
• 自信区間に基づき、最良のアクションが不確実な状態にのみ、より多くのサンプルを割り当てる適応的サンプリングアルゴリズムを提案する。
• 濃度不等式を用いて、誤ったアクション選択の確率を制限し、高確率での方策改善を保証する。
• 幾何的被覆の議論と方策ギャップ関数$\Delta^\pi(s)$の滑らかさに関する仮定を用いて、サンプル複雑性の境界を導出する。
• 方策ギャップ関数$\Delta^\pi(s)$の大きさに基づく階層的状態分割を用い、高サンプル数を要する状態の数を制限する。

実験結果

リサーチクエスチョン

• RQ1 適応的ロールアウトサンプリングは、均一サンプリングと比較して、方策改善のためのサンプル複雑性においてどのように異なるか？
• RQ2 理論的裏付けのあるサンプリング戦略は、所望の方策レジストを達成するためのロールアウト回数を削減できるか？
• RQ3 グリッドベースの方策表現を用いた連続的MDPにおける適応的サンプリングの理論的サンプル複雑性は何か？
• RQ4 方策ギャップ関数の滑らかさは、必要なサンプル数にどのように影響するか？
• RQ5 妥当な仮定の下で、状態空間の次元に依存せずにサンプル複雑性を境界付けられるか？

主な発見

• 適応的サンプリングアルゴリズムは、サンプル複雑性$
  mathcal{O}(\epsilon^{-2})$を達成し、均一サンプリングの$
  mathcal{O}(\epsilon^{-4})$に比べて改善されている。
• 理論的分析により、適応的メソッドが均一割り当てと比較して、サンプル複雑性を$
  epsilon^{-2}$ の要因で低減することが示された。
• サンプル複雑性の境界は、方策ギャップ関数の滑らかさに依存し、指数$
  beta$が性能が悪い状態の減衰率を制御する。
• 境界はグリッド解像度$\rho$に依存し、各階層の状態数は測度論的議論を用いて境界付けられている。
• 分析では固定された候補状態数$n$を仮定しており、境界は確率$1 - \delta$以上で成り立つ。
• 結果から、知的なサンプリングにより、特に高次元または連続的状態空間において、必要なロールアウト回数を顕著に削減できることが示唆される。