[論文レビュー] Classification-based Approximate Policy Iteration: Experiments and Extended Discussions

Amir massoud Farahmand, Doina Precup+2 more|arXiv (Cornell University)|Jul 2, 2014

Reinforcement Learning in Robotics参考文献 1被引用数 3

ひとこと要約

本稿では、サンプル効率の高い強化学習を実現するため、価値関数と方策の両方の正則性を統合的に活用する枠組みである分類ベース近似方策反復（CAPI）を提案する。価値関数推定値からグリーディ行動を一般化する分類器を用いることで、CAPIは優れたサンプル効率を達成した—大規模なHIV制御タスクを解けることを示し、ベースライン手法と比較してサンプル数を桁違いに削減した—一方で、性能損失と推定誤差に関する理論的保証を維持している。

ABSTRACT

Tackling large approximate dynamic programming or reinforcement learning problems requires methods that can exploit regularities, or intrinsic structure, of the problem in hand. Most current methods are geared towards exploiting the regularities of either the value function or the policy. We introduce a general classification-based approximate policy iteration (CAPI) framework, which encompasses a large class of algorithms that can exploit regularities of both the value function and the policy space, depending on what is advantageous. This framework has two main components: a generic value function estimator and a classifier that learns a policy based on the estimated value function. We establish theoretical guarantees for the sample complexity of CAPI-style algorithms, which allow the policy evaluation step to be performed by a wide variety of algorithms (including temporal-difference-style methods), and can handle nonparametric representations of policies. Our bounds on the estimation error of the performance loss are tighter than existing results. We also illustrate this approach empirically on several problems, including a large HIV control task.

研究の動機と目的

• 大規模強化学習におけるサンプル非効率性の課題を、価値関数と方策の両方の正則性を活用することで解決すること。
• 既存の分類ベース強化学習手法を一般化し、柔軟な方策表現を可能にする統一フレームワークの開発。
• CAPIスタイルのアルゴリズムにおける推定誤差と性能損失に関する理論的保証の提供。
• 高次元制御タスクを含む多様な環境において、CAPIのサンプル効率と安定性の優位性を実験的に検証すること。
• データ収集が困難な状況下で、特に方策が単純かつ構造的である場合に、CAPIが価値ベースおよび方策ベース手法を上回ることの実証。

提案手法

• CAPIは汎用的な価値関数推定器を用いて行動価値関数を近似し、TDスタイルやLSTD手法を含む多様なアルゴリズムによる柔軟な方策評価を可能にする。
• 推定された行動価値に基づいて分類器を学習させ、状態空間全体にわたるグリーディ行動の一般化と方策正則性の活用を実現する。
• 決定木やk-NNなどの非パrametricな方策表現をサポートし、データに応じた柔軟な複雑さの適応を可能にする。
• 方策評価と方策改善を分離することで、ロールアウトベースや関数近似技術を含む任意の価値推定手法の使用が可能になる。
• 木ベースの分類器では、重み付き損失関数を採用し、行動ギャップの差を強調することで、ノイズの多い価値推定に対するロバスト性を向上させる。
• 方策の複雑さ（例：k-NNのkや木の最小分割値）のモデル選択は、バイアスとバリアンスのバランスを考慮した問題依存のチューニングタスクとして扱う。

実験結果

リサーチクエスチョン

• RQ1 統一フレームワークは、大規模強化学習において価値関数と方策の両方の正則性を効果的に活用できるか？
• RQ2 標準的な価値ベース（例：Fitted Q-Iteration）および方策ベース（例：DPI）手法と比較して、CAPIのサンプル効率はどの程度か？
• RQ3 方策空間の複雑さ（例：k-NNのkや木の深さ）は、CAPIの性能と一般化能力にどのような影響を与えるか？
• RQ4 データ収集が困難で高価な状況下で、CAPIはロールアウトベースや価値ベース手法を上回る性能を達成できるか？
• RQ5 CAPIスタイルのアルゴリズムにおける推定誤差と性能損失に、どのような理論的バインディングを確立できるか？

主な発見

• ポールバランスタスクにおいて、CAPIはTree-FQIやTree-DPIを大きく上回るサンプル効率を示し、約10^4サンプルでタスクを解消した。一方、Tree-DPIは約3×10^7サンプルを要した。
• 15,000サンプルで、CAPI（ηπ=20）は50回の実験すべてで完全な性能を達成したが、Tree-FQIは同程度の性能に到達するまでに約3×10^4サンプルを必要とした。
• KNN-CAPIにおけるKの選択は、特にサンプル数が少ない状況で性能に顕著な影響を及ぼし、問題ごとに方策空間の複雑さをチューニングする必要があることを示した。
• 小さな方策空間（例：ηπ=20）を用いたCAPIは、限られたデータでもほぼ最適な性能を達成した。これは、方策正則性の効果的な活用を示している。
• 初期学習段階において、Tree-CAPIはTree-FQIを上回った。これは、データが限られた状況下で、方策ベースの一般化が価値ベースの関数近似よりもサンプル効率に優れている可能性を示している。
• CAPIの計算コストはTree-DPIより高かったが、データ収集コストが著しく高い状況では、CAPIのデータ要件の大幅な削減が全体的な優位性をもたらす。