[論文レビュー] Exploration in Deep Reinforcement Learning: From Single-Agent to Multiagent Domain

Jianye Hao, Tianpei Yang+6 more|arXiv (Cornell University)|Sep 14, 2021

Reinforcement Learning in Robotics参考文献 200被引用数 13

ひとこと要約

この論文は、深層強化学習（DRL）およびマルチエージェント強化学習（MARL）における探索手法の包括的サーベイを提示し、不確実性志向型と内発的動機付け志向型のアプローチに分類している。標準ベンチマークを用いた統一的な実験的比較を提供し、複雑な環境におけるサンプル効率の良い探索に関する未解決の課題と今後の方向性を特定している。

ABSTRACT

Deep Reinforcement Learning (DRL) and Deep Multi-agent Reinforcement Learning (MARL) have achieved significant successes across a wide range of domains, including game AI, autonomous vehicles, robotics, and so on. However, DRL and deep MARL agents are widely known to be sample inefficient that millions of interactions are usually needed even for relatively simple problem settings, thus preventing the wide application and deployment in real-industry scenarios. One bottleneck challenge behind is the well-known exploration problem, i.e., how efficiently exploring the environment and collecting informative experiences that could benefit policy learning towards the optimal ones. This problem becomes more challenging in complex environments with sparse rewards, noisy distractions, long horizons, and non-stationary co-learners. In this paper, we conduct a comprehensive survey on existing exploration methods for both single-agent and multi-agent RL. We start the survey by identifying several key challenges to efficient exploration. Beyond the above two main branches, we also include other notable exploration methods with different ideas and techniques. In addition to algorithmic analysis, we provide a comprehensive and unified empirical comparison of different exploration methods for DRL on a set of commonly used benchmarks. According to our algorithmic and empirical investigation, we finally summarize the open problems of exploration in DRL and deep MARL and point out a few future directions.

研究の動機と目的

• 深層強化学習（DRL）およびマルチエージェント強化学習（MARL）におけるサンプル非効率性という重要な課題に取り組むこと、特に劣悪な探索による要因に起因するものである。
• 不確実性ベースと内発的動機付けベースの2つのコアなパラダイムに沿って、DRLおよびMARLにおける既存の探索手法を体系的に分類・分析すること。
• 標準的なDRLベンチマーク上で探索手法を統一的に実験的に評価し、性能および効率の直接比較を可能にすること。
• 特に報酬が疎であり、時間的高さが高く、非定常なマルチエージェント環境において、現在の探索手法の主な制限と未解決問題を特定すること。
• 複雑で現実世界のRL応用において探索効率を向上させるための有望な今後の研究方向性を提示することで、今後の研究を導くこと。

提案手法

• 探索手法を主に2つのカテゴリに分類：不確実性志向型（例：エピステミック不確実性、価値関数における不確実性）と内発的動機付け志向型（例：好奇心、内発的報酬割り当て）。
• 相互情報量の最大化と変分推論を用いて内発的動機付けとスキル発見を形式化する統一フレームワークを導入。
• スキル発見において未知状態のカバレッジを促進するため、状態マージナルマッチング（SMM）を採用し、エージェントが既知状態に集中する問題を緩和。
• 一貫した訓練プロトコルを用いて、標準的なDRLベンチマーク（例：Atari、MuJoCo）上で手法を評価し、公平な比較を可能に。
• 自己模倣学習（SIL）を補完的アプローチとして組み込み、エージェントが自身の過去の成功した軌道を模倣することで学習効率を向上。
• 状態とスキル間の相互情報量を近似するために変分下界を用い、スケーラブルで微分可能な探索目的関数を実現。

実験結果

リサーチクエスチョン

• RQ1 不確実性志向型と内発的動機付け志向型の探索手法は、報酬が疎で、長時間にわたるタスクを処理する能力において、どのように異なるか？
• RQ2 非定常な共学習者を有するマルチエージェント設定において、既存の探索手法の主な制限は何か？
• RQ3 相互情報量の最大化と状態マージナルマッチングは、探索における状態空間カバレッジをどの程度向上させるか？
• RQ4 自己模倣学習と軌道レベルの模倣は、内発的報酬ベースの手法と比較して、サンプル効率の観点でどの程度優れているか？
• RQ5 DRLおよびMARLにおける効率的探索のための未解決問題と今後の研究方向性は何か？

主な発見

• エピステミック不確実性推定のような不確実性ベースの手法は、初期探索において優れたパフォーマンスを示すが、報酬の遅延による責任割り当ての問題により、長時間タスクでは困難をきたすことがある。
• 好奇心や内発的報酬割り当てのような内発的動機付け手法は、特に報酬が疎な環境において、サンプル効率を顕著に向上させる。
• EDLにおける状態マージナルマッチング（SMM）により、従来の手法が失敗する環境でも、状態をカバーするスキルの発見が可能になる。これは、均一な状態訪問を維持できる能力に起因する。
• 自己模倣学習（SIL）およびその変種（例：DTSIL、ESIL）は、成功した軌道を再利用することで、報酬が疎なドメインにおいて、標準的なオフポリシー手法を上回る性能を示す。
• 実験的評価から、内発的動機付けと価値関数正則化、または好奇心ベースの探索を組み合わせた手法が、AtariおよびMuJoCoベンチマークで最も優れたパフォーマンスを達成することが明らかになった。
• 進展は見られるものの、現在の手法は、共学習者の方策が学習中に変化する非定常なMARL環境において、依然として探索の不安定性に直面している。