[論文レビュー] Learning from Scarce Experience

Leonid Peshkin, Christian R. Shelton|ArXiv.org|Apr 20, 2002

Reinforcement Learning in Robotics参考文献 22被引用数 51

ひとこと要約

本論文は、部分的に観測可能な強化学習におけるサンプル効率を著しく向上させるため、1つの方策からの経験を再利用して複数のターゲット方策の価値を推定する尤度比に基づく方策探索手法を提案する。主な貢献は、サンプル複雑度の境界と、特にデータが少ない状況において標準的な reinforce アルゴリズムよりも高速に収束し、より優れた性能を示す実験的検証である。

ABSTRACT

Searching the space of policies directly for the optimal policy has been one popular method for solving partially observable reinforcement learning problems. Typically, with each change of the target policy, its value is estimated from the results of following that very policy. This requires a large number of interactions with the environment as different polices are considered. We present a family of algorithms based on likelihood ratio estimation that use data gathered when executing one policy (or collection of policies) to estimate the value of a different policy. The algorithms combine estimation and optimization stages. The former utilizes experience to build a non-parametric representation of an optimized function. The latter performs optimization on this estimate. We show positive empirical results and provide the sample complexity bound.

研究の動機と目的

• 各方策評価後に経験を破棄する標準的な方策勾配法の非効率性に対処する。
• 1つの方策を実行している間に収集した経験を、代替方策の価値を推定するために再利用可能にする。
• 非パラメトリック推定と最適化を統合した効率的な方策探索のための統一フレームワークを開発する。
• データ効率を定量化するための理論的サンプル複雑度境界を提供する。
• PAC風の解析を通じて強化学習と計算学習理論を橋渡しする。

提案手法

• 行動方策からの軌道を再重み付けすることで、ターゲット方策のリターンを尤度比推定により推定する。
• 学習プロセスを2段階に分解する：推定（価値関数の非パラメトリック表現）と最適化（勾配ベースの方策更新）。
• 行動方策とターゲット方策の分布シフトを補正するために重要度サンプリング技術を適用する。
• 環境との繰り返しの相互作用を避けるために、履歴データに基づいて方策性能を推定するプロキシ評価者を導入する。
• 推定された価値関数を用いて、活用と探索のバランスを取るサンプリング戦略を導入する。
• 方策クラスの被覆数と環境ダイナミクスに依存するPAC風のサンプル複雑度境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 1つの方策を実行している間に収集した経験を、複数の他の方策の価値推定に効果的に再利用できるか？
• RQ2 尤度比推定は、部分的に観測可能な強化学習におけるサンプル効率をどのように向上させるか？
• RQ3 このアプローチの理論的サンプル複雑度は何か？また、方策クラスの複雑度にどのように依存するか？
• RQ4 方策の複雑度（例：メモリサイズ）は、このフレームワークにおける収束と性能にどのように影響するか？
• RQ5 この手法は、データが少ない状況において、標準的な reinforce スタイルのアルゴリズムを上回ることができるか？

主な発見

• 提案手法は、データが限られる状況において特に、標準的な reinforce アルゴリズムよりも高速に収束する。
• 1つの行動方策を用いることで、環境の再実行なしに複数のターゲット方策の価値を推定できる。
• 実験結果から、最小限のメモリ（例：1ビット）を持つ有限状態制御則が最適性能を達成するのに対し、反応型方策は部分最適解に収束することが分かった。
• サンプル複雑度境界は方策クラスの被覆数に依存しており、仮説空間の複雑さを反映している。
• reinforceとは異なり、過去の全サンプルを保持する。
• 理論的分析は、単純な方策クラスがより速く収束することを支持するが、最適性能を達成するとは限らないという実験的観察を裏付けている。