[論文レビュー] A Survey of Exploration Methods in Reinforcement Learning

Susan Amin, Maziar Gomrokchi+3 more|arXiv (Cornell University)|Sep 1, 2021

Reinforcement Learning in Robotics参考文献 204被引用数 5

ひとこと要約

本サーベイは強化学習における探索手法の包括的な分類と概要を提供し、探索中に使用する情報に基づいて、報酬フリーおよび報酬ベースのアプローチに分類する。内在的欲求、事後サンプリング、不確実性に基づく探索といった主要な技術を強調し、アタリやトーブラーMCPといったベンチマーク環境での実証的成果を示している。特に、Successor Uncertaintiesは49のアタリゲームのうち36でBootstrapped DQNを上回った。

ABSTRACT

Exploration is an essential component of reinforcement learning algorithms, where agents need to learn how to predict and control unknown and often stochastic environments. Reinforcement learning agents depend crucially on exploration to obtain informative data for the learning process as the lack of enough information could hinder effective learning. In this article, we provide a survey of modern exploration methods in (Sequential) reinforcement learning, as well as a taxonomy of exploration methods.

研究の動機と目的

• 順序付き強化学習における現代の探索手法を体系的かつ高レベルで概説すること。
• 特に報酬、状態訪問回数、不確実性を用いる情報に基づいて、探索手法の分類を構築すること。
• 各手法の強み・弱み・実証的性能を比較することで、実務家が効果的な探索戦略を選択できるようにガイドすること。
• 不確実性に対する楽観主義、確率マッチング、モデルベース探索といった主要なアルゴリズムファミリーを強調すること。
• 探索文献における標準化された評価指標やベンチマークタスクの欠如に対処すること。

提案手法

• 探索を主に2つのクラスに分類：報酬フリー（例：ランダムな行動、内在的欲求）と報酬ベース（例：不確実性、楽観主義、事後サンプリング）。
• 使用する情報の種別に基づいて手法をグループ化：状態訪問回数、予測不確実性、または価値関数の事後分布。
• Successor Uncertainties (SU) を導入。これは、学習済みの報酬および遷移の事後分布から解析的に事後価値推定値を導出するモデルフリー手法。
• メモリフリー対メモリベース、内在的対外在的報酬利用といったサブカテゴリを含む階層的分類を採用。
• PSRL、Bootstrapped DQN、内在的欲求モジュールといった代表的なアルゴリズムをレビュー。設計原理と実証的挙動に焦点を当てる。
• 理論的サンプル複雑性や数学的証明ではなく、実用的知見と実証的性能に重点を置く。

実験結果

リサーチクエスチョン

• RQ1 行動選択時に使用する情報に基づいて、探索手法を体系的に分類する方法は何か？
• RQ2 性能とスケーラビリティの観点から、無向探索と有向探索戦略の主な違いは何か？
• RQ3 モデルフリーとモデルベースの探索手法は、複雑な環境におけるサンプル効率性と実証的成果において、どのように比較されるか？
• RQ4 内在的欲求と不確実性に基づく探索は、報酬が希薄な環境での学習をどの程度向上させるか？
• RQ5 なぜ探索手法の評価指標について合意が得られていないのか。これは手法比較をどの程度妨げているか？

主な発見

• Successor Uncertainties (SU) は49のアタリゲームのうち36でBootstrapped DQNを上回り、大規模環境における強力な実証的性能を示した。
• 200状態の困難なトーブラー鎖問題において、SUはベースライン手法よりも優れた性能を達成し、スケーラビリティと有効性を強調した。
• 報酬フリー探索手法（例：内在的欲求）は、報酬が希薄または遅延する環境で特に効果的である。
• SUのような事後サンプリングおよび不確実性推定に基づく手法は、モデルの事後分布と方策選択の間に一貫性を保ち、サンプル効率性を向上させる。
• 強力な実証的結果にもかかわらず、評価指標についての合意はなく、状態カバレッジ、レグレット、情報量の増加といった指標によって性能が異なる。
• 理論的保証は、しばしば実世界の性能と一致しない。これは、テーブル型または線形関数近似の仮定が満たされないことが原因である。