[論文レビュー] Dyna-Style Planning with Linear Function Approximation and Prioritized Sweeping

Richard S. Sutton, Csaba Szepesvári+2 more|arXiv (Cornell University)|Jun 13, 2012

Reinforcement Learning in Robotics参考文献 25被引用数 107

ひとこと要約

この論文は、優先順位付けスイーピングを用いた線形関数近似へのダイナ型計画を拡張するモデルベース強化学習アルゴリズムを提案している。弱い条件下でも最小二乗時系列差分（LSTD）解への収束を証明しており、世界モデルから合成経験を生成し、状態ではなく関連する特徴に価値推定値をバックアップすることで、大規模な状態空間における効率的なオンライン学習を可能にする。

ABSTRACT

We consider the problem of efficiently learning optimal control policies and value functions over large state spaces in an online setting in which estimates must be available after each interaction with the world. This paper develops an explicitly model-based approach extending the Dyna architecture to linear function approximation. Dynastyle planning proceeds by generating imaginary experience from the world model and then applying model-free reinforcement learning algorithms to the imagined state transitions. Our main results are to prove that linear Dyna-style planning converges to a unique solution independent of the generating distribution, under natural conditions. In the policy evaluation setting, we prove that the limit point is the least-squares (LSTD) solution. An implication of our results is that prioritized-sweeping can be soundly extended to the linear approximation case, backing up to preceding features rather than to preceding states. We introduce two versions of prioritized sweeping with linear Dyna and briefly illustrate their performance empirically on the Mountain Car and Boyan Chain problems.

研究の動機と目的

• 大規模な状態空間における最適方策および価値関数の効率的オンライン学習を、モデルベース計画を用いて実現すること。
• ダイナアーキテクチャを線形関数近似に対応させる。これにより、状態間での一般化が可能になる。
• 線形近似フレームワークに優先順位付けスイーピングを統合し、サンプル効率を向上させること。
• 自然な条件下で一意な解、具体的にはLSTD解への収束を証明すること。
• マウンテンカーやボイアンチェーンといった古典的制御問題における実験的性能を示すこと。

提案手法

• 計画のために世界モデルを用いて合成状態遷移（想像された経験）を生成する。
• 線形関数近似を用いて、想像された遷移に対してモデルフリーの時系列差分学習を適用する。
• 優先順位付けスイーピングを用い、価値推定値に与える潜在的影響に基づいて特徴を優先的に更新する。
• 直前の状態ではなく、直前の特徴に更新をバックアップすることで、関数近似における効率的な伝播を実現する。
• 特徴レベルの優先順位キューを用いるバージョンと、状態レベルの優先順位付けに特徴更新を組み合わせた2つのバリエーションを提案する。
• 特徴表現およびモデル精度に関する弱い仮定の下で、最小二乗時系列差分（LSTD）解への収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 ダイナ型計画を線形関数近似に拡張しても、収束保証を維持できるか？
• RQ2 線形近似設定において、特徴ではなく状態に適用する優先順位付けスイーピングが妥当性を保つのか？
• RQ3 標準的な条件下で、得られたアルゴリズムがLSTD解に収束するか？
• RQ4 大規模制御問題において、優先順位付けスイーピングを用いた線形ダイナの性能は、ベースライン手法と比べてどうか？
• RQ5 特徴レベルの優先順位付けと状態レベルの優先順位付けの学習効率への影響は何か？

主な発見

• 提案された線形ダイナ型計画アルゴリズムは、弱い条件下でデータ生成分布とは独立した一意の固定点に収束する。
• 方策評価設定において、アルゴリズムの極限点は、最小二乗時系列差分（LSTD）解であることが明確に証明できる。
• 特徴に直前の状態ではなく、直前の特徴に更新をバックアップすることで、優先順位付けスイーピングを線形近似ケースに妥当に拡張できる。
• マウンテンカーやボイアンチェーン問題における実験的結果から、標準的なダイナや非優先順位付けベースラインと比較して、より高いサンプル効率と高速な収束が得られた。
• 提案された2つの優先順位付けスイーピングのバリエーションは、競争的な性能を示しており、特に高次元特徴空間では特徴レベルの優先順位付けがより優れたスケーラビリティを示した。
• 理論的分析により、関数近似が存在する場合でも、アルゴリズムが安定性と収束性を維持することが確認された。これは、従来のモデルベース手法に比べて顕著な前進である。