[論文レビュー] Algorithms and Bounds for Sampling-based Approximate Policy Iteration

Christos Dimitrakakis, Michail G. Lagoudakis|arXiv (Cornell University)|Jan 1, 2008

Machine Learning and Algorithms被引用数 4

ひとこと要約

本稿では、連続的状態空間における方策反復のためのサンプル効率の良いサンプリング戦略を提案する。均一なロールアウトサンプリングに代わり、必要な場所にのみサンプルを割り当てる適応的割り当て法を採用することで、サンプルの複雑さを著しく低減しつつ、シンプルなグリッドベースの状態カバレッジと分類器ベースの方策表現を用いて方策の性能を維持する。

ABSTRACT

Several approximate policy iteration schemes without value functions, which focus on policy representation using classifiers and address policy learning as a supervised learning problem, have been proposed recently. Finding good policies with such methods requires not only an appropriate classifier, but also reliable examples of best actions, covering the state space sufficiently. Up to this time, little work has been done on appropriate covering schemes and on methods for reducing the sample complexity of such methods, especially in continuous state spaces. This paper focuses on the simplest possible covering scheme (a discretized grid over the state space) and performs a sample-complexity comparison between the simplest (and previously commonly used) rollout sampling allocation strategy, which allocates samples equally at each state under consideration, and an almost as simple method, which allocates samples only as needed and requires significantly fewer samples.

研究の動機と目的

• 連続的状態空間におけるサンプリングベースの近似方策反復の高いサンプル複雑さに対処すること。
• シンプルなグリッド離散化を用いて、十分な状態空間カバレッジを確保することで、方策学習の信頼性を向上させること。
• 必要なサンプル数を削減するため、均一なロールアウトサンプリングと適応的サンプリング戦略を比較すること。
• 適応的サンプリングが、サンプル使用量を最小限に抑えつつ方策の品質を維持できるかを評価すること。

提案手法

• 連続的状態空間を均一にカバーするための離散化グリッドを使用する。
• 最適な行動のラベル付きデモンストレーションを用いて訓練された分類器を用いて方策を表現する。
• 均一なロールアウトサンプリングを、必要な場所にのみサンプルを割り当てる適応的サンプリング戦略に置き換える。
• ロールアウトを通じて行動ラベルを収集することで、方策学習に教師あり学習を適用する。
• 方策改善に最も寄与する状態にサンプリングを優先する、シンプルで効果的な方法を採用する。
• サンプル効率および方策性能の観点から、適応的戦略と均一サンプリングを比較する。

実験結果

リサーチクエスチョン

• RQ1 方策反復において、適応的サンプリングは均一なサンプリングに比べてどれほどサンプル効率が優れているか？
• RQ2 シンプルなグリッドベースの状態カバレッジ方式は、サンプリングを削減しつつ効果的な方策学習を可能にするか？
• RQ3 サンプル割り当て戦略が連続的状態空間における方策の品質に与える影響は何か？
• RQ4 適応的サンプリングは、必要なロールアウト数を著しく削減しながらも、方策の性能を維持できるか？

主な発見

• 適応的サンプリング戦略は、均一なロールアウトサンプリングに比べて、顕著に少ないサンプル数で同等の方策性能を達成する。
• シンプルなグリッド離散化の使用により、効果的な方策学習に十分な状態空間カバレッジが実現できる。
• 適応的サンプリングは、方策改善に最も寄与する状態に注目することで、サンプル複雑さを低減する。
• 本手法は、サンプリングを削減しても方策の品質を維持でき、優れたサンプル効率を示している。