[論文レビュー] Dealing with Sparse Rewards in Reinforcement Learning

Joshua Hare|arXiv (Cornell University)|Oct 21, 2019

Reinforcement Learning in Robotics参考文献 37被引用数 48

ひとこと要約

本修士論文は強化学習における疎報酬学習のアプローチを概観し、好奇心駆動の探索と教師なしの補助タスクを組み合わせた新規手法を提案する。評価はビデオゲーム環境全体で行われる。

ABSTRACT

Successfully navigating a complex environment to obtain a desired outcome is a difficult task, that up to recently was believed to be capable only by humans. This perception has been broken down over time, especially with the introduction of deep reinforcement learning, which has greatly increased the difficulty of tasks that can be automated. However, for traditional reinforcement learning agents this requires an environment to be able to provide frequent extrinsic rewards, which are not known or accessible for many real-world environments. This project aims to explore and contrast existing reinforcement learning solutions that circumnavigate the difficulties of an environment that provide sparse rewards. Different reinforcement solutions will be implemented over a several video game environments with varying difficulty and varying frequency of rewards, as to properly investigate the applicability of these solutions. This project introduces a novel reinforcement learning solution by combining aspects of two existing state of the art sparse reward solutions, curiosity driven exploration and unsupervised auxiliary tasks.

研究の動機と目的

• 疎外部報酬を伴う環境における強化学習を動機づけ、研究する。
• 既存の疎報酬RLソリューションを比較し、その適用性を評価する。
• 段階的に難易度を上げるビデオゲーム環境で疎報酬RL手法を実装・評価する。
• 好奇心駆動の探索と教師なし補助タスクを組み合わせた新規エージェントを導入する。

提案手法

• 基礎的なRL概念（MDPs、価値関数、ベルマン方程式）とダイナミックプログラミングをレビューする。
• モデルフリーRL手法（モンテカルロ、TD、Q学習、方略勾配法）と疎報酬に対する限界を議論する。
• 好奇心駆動の探索、教師なし補助タスク、ランダムネットワーク蒸留、後知恵体験リプレイなど、最先端の疎報酬手法を詳述する。
• DRLエージェント（A2C、Sync-DDQN、PPO）と疎報酬強化を可能にする拡張（UNREAL-A2C2、RANDAL、RND、ICM）の実装を提示・分析する。
• Classic ControlとAtari 2600環境でエージェントを評価し、ベースラインと疎報酬手法を比較する。

実験結果

リサーチクエスチョン

• RQ1 既存の疎報酬強化学習手法は、さまざまなビデオゲーム環境でどの程度機能するか？
• RQ2 好奇心駆動の探索と教師なし補助タスクを組み合わせることで、疎報酬下で学習能力が向上するか？
• RQ3 提案手法は、学習効率と最終性能の点で、確立されたベースライン（例：A2C、DDQN、PPO）とどう比較されるか？
• RQ4 疎報酬RLエージェントを実装・スケールする際の実務的考慮事項（ハードウェア、ソフトウェアアーキテクチャ、エンコーダ）とは何か？

主な発見

• 疎報酬手法の適用性が、難易度が異なるビデオゲーム環境で実証される。
• 好奇心駆動の探索と教師なし補助タスクの統合は、疎報酬下で競争力のある性能を生み出せる可能性がある。
• ベースラインとUNREAL-A2C2やRANDALのような疎報酬強化エージェントの比較を実証的に提供する。
• エンコーダネットワークやハイパーパラメータを含む、拡張可能な深層強化学習の実装洞察を詳述する。
• 疎報酬手法のさらなる改善・拡張の機会を残す。