[論文レビュー] Think Too Fast Nor Too Slow: The Computational Trade-off Between Planning And Reinforcement Learning

Thomas M. Moerland, Anna Deichler+3 more|arXiv (Cornell University)|May 15, 2020

Reinforcement Learning in Robotics参考文献 25被引用数 6

ひとこと要約

本論文は、モデルベース強化学習における計画と強化学習の計算的トレードオフを調査し、1時間当たりの計画予算が中程度のときに性能が最大値に達することを示している—つまり、あまりに速すぎても（モデルフリーRL）、あまりに遅すぎても（全探索）性能が劣る。主な貢献は、最適な性能が計画の深さと学習頻度のバランスから生じることを実証的に示したことであり、人工知能および二重過程認知理論の両者にインパクトを与える。

ABSTRACT

Planning and reinforcement learning are two key approaches to sequential decision making. Multi-step approximate real-time dynamic programming, a recently successful algorithm class of which AlphaZero [Silver et al., 2018] is an example, combines both by nesting planning within a learning loop. However, the combination of planning and learning introduces a new question: how should we balance time spend on planning, learning and acting? The importance of this trade-off has not been explicitly studied before. We show that it is actually of key importance, with computational results indicating that we should neither plan too long nor too short. Conceptually, we identify a new spectrum of planning-learning algorithms which ranges from exhaustive search (long planning) to model-free RL (no planning), with optimal performance achieved midway.

研究の動機と目的

• モデルベース強化学習における計画と学習の計算的トレードオフを調査すること。
• 1時間当たりの計画予算が順序決定タスクにおける学習効率と最終的性能に与える影響を特定すること。
• モデルフリーRLと全探索の両者を上回る中間的計画レジームが存在するかどうかを調査すること。
• 二重過程理論に基づく、計画と学習のバランスの取れた統合に関する実証的証拠を提供すること。

提案手法

• 著者らは、学習済み価値関数を用いた計画と、経験に基づく価値関数の更新を交互に繰り返すフレームワーク、多段階近似リアルタイム動的計画法（MSA-RTDP）を用いる。
• 固定された総計算予算のもとで、既知のMDP環境において実験を行い、1時間当たりの計画予算を変化させる。
• 計画フェーズでは、各行動選択におけるシミュレーション回数を調整可能なモンテカルロ木探索（MCTS）を用いる。
• 学習フェーズでは、計画中に生成された軌道と実環境との相互作用に基づき、時系列差分学習を用いて価値関数を更新する。
• グリッドワールドやアーケードゲームに類似した環境を含む複数のドメインで性能を評価し、累積報酬によって最終的ポリシーの質を測定する。
• ハイパーパrameterはドメインごとに一度のみチューニングし、計画予算を体系的に変化させることでその影響を隔離する。

実験結果

リサーチクエスチョン

• RQ1 モデルベース強化学習において、性能を最大化するための最適な1時間当たりの計画予算は何か？
• RQ2 計画が短すぎる（モデルフリーRLに近い）場合と長すぎる（全探索に近い）場合に、性能はどのように変化するか？
• RQ3 計画と学習のバランスの取れた統合は、それぞれを独立して用いる場合よりも優れた性能をもたらすか？
• RQ4 計画と学習のトレードオフは、最適性能が中間点に位置するスケールとして特徴付けられるか？

主な発見

• 最適な性能は、計画予算が中程度の1時間当たりの値で達成され、計画を一切行わない場合や全探索に近い場合ではない。
• 過剰な計画は学習更新回数と実環境相互作用の回数を減らし、サンプル効率と最終的性能を低下させる。
• 計画が不十分な場合、最適でない訓練ターゲットが生じ、価値関数の近似が不十分になり、学習が不安定になる。
• このトレードオフは、グリッドワールドやアーケードゲームに類似したドメインを含む複数の環境で一貫しており、計画と学習の統合における一般的原則を示唆する。
• 結果は、意思決定における二重過程メカニズムの存在を支持しており、高速なヒューリスティックな意思決定と熟考された計画が共存し、互いに補完し合うことを示している。
• 今後のシステムでは、不確実性や文脈に基づいた適応的計画予算の導入が、さらなる性能向上に寄与する可能性がある。