[論文レビュー] Reinforcement Learning: A Survey

Leslie Pack Kaelbling, Michael L. Littman+1 more|arXiv (Cornell University)|May 1, 1996

Evolutionary Algorithms and Applications参考文献 102被引用数 99

ひとこと要約

この画期的なサーベイは、コンピュータサイエンスの視点から強化学習（RL）の包括的概要を提供しており、マーカフ決定過程、探索と活用のトレードオフ、時間的信用配分、関数近似といった基礎的概念をカバーしている。Q学習やTD(λ)といった主要なアルゴリズムを統合し、一般化と階層的学習の役割を強調するとともに、実用的課題と応用を評価し、RLおよびAI分野の研究者にとって不可欠な基準的リファレンスを確立している。

ABSTRACT

This paper surveys the field of reinforcement learning from a computer-science perspective. It is written to be accessible to researchers familiar with machine learning. Both the historical basis of the field and a broad selection of current work are summarized. Reinforcement learning is the problem faced by an agent that learns behavior through trial-and-error interactions with a dynamic environment. The work described here has a resemblance to work in psychology, but differs considerably in the details and in the use of the word ``reinforcement.'' The paper discusses central issues of reinforcement learning, including trading off exploration and exploitation, establishing the foundations of the field via Markov decision theory, learning from delayed reinforcement, constructing empirical models to accelerate learning, making use of generalization and hierarchy, and coping with hidden state. It concludes with a survey of some implemented systems and an assessment of the practical utility of current methods for reinforcement learning.

研究の動機と目的

• 機械学習に熟達した研究者を対象に、強化学習について包括的かつ理解しやすい概要を提供すること。
• RLの歴史的発展とマーカフ決定過程における理論的基盤をたどること。
• 遅延報酬、部分的観測、スケーラビリティといったRLの核心的課題を特定・分析すること。
• 事例研究や実装済みシステムを通じて、現在のRL手法の実用的有用性を評価すること。
• 複雑なタスクにスケーリングおよびバイアスを適用するための未解決問題と今後の研究方向性を強調すること。

提案手法

• エージェントが知覚、行動、スカラーリワード信号を通じて動的環境と相互作用する標準的なRLモデルを使用する。
• MDP理論をRLの形式的基盤として適用し、状態、行動、報酬をモデル化する。
• Q学習、TD(λ)、適応的ヒューリスティッククリティクスといった主要なアルゴリズムを導入・分析し、遅延報酬からの学習を可能にする。
• 大規模または連続的な状態・行動空間に対応するため、関数近似と一般化を強調する。
• 複雑な環境におけるサンプル効率と学習を向上させるために、階層的および報酬形状付けアプローチを提案する。
• 学習を加速し計画を改善するために、経験的モデルを構築するモデルベース手法について議論する。

実験結果

リサーチクエスチョン

• RQ1 動的環境において、未知の行動の探索と、既知の高報酬行動の活用のバランスをどのようにとることができるか？
• RQ2 報酬が遅延する状況で、どのように効果的な学習が可能になるか。信用配分はどのように解決できるか？
• RQ3 一般化と関数近似を活用することで、大規模または連続的な状態空間へのRLのスケーリングはどのように可能になるか？
• RQ4 現実世界のRL応用において、部分的観測や隠れた状態の課題をどのように軽減できるか？
• RQ5 形状付け、局所的報酬、問題の分解といったバイアスをどのように活用することで、サンプル効率とスケーラビリティが向上するか？

主な発見

• 強化学習は、固定された技術の集合ではなく、問題のクラスとして捉えるべきであり、主に探索ベースと統計的／動的プログラミングベースの2つのアプローチに分けられる。
• Q学習とTD(λ)は、完全な環境モデルがなくても、遅延報酬からの最適方策の学習に効果的なモデルフリーなアルゴリズムである。
• 関数近似と一般化は、大規模または連続的な状態空間へのRLのスケーリングに不可欠であるが、収束性と安定性の課題を引き起こす。
• 部分的観測と隠れた状態は学習を著しく複雑にするため、信念状態や再帰的モデルといった技術が求められる。
• 実際の複雑な分野（例：ロボット制御）での成功は、しばしば人間が設計したバイアス（形状付け、局所的報酬、反射行動など）を組み込むことに依存する。
• 強い理論的基盤があるものの、多くの現在のRL手法は、顕著なインダクティブバイアスやアーキテクチャの革新がなければ、大規模な問題にスケーリングできない。