[論文レビュー] BeBold: Exploration Beyond the Boundary of Explored Regions

Tianjun Zhang, Huazhe Xu+5 more|arXiv (Cornell University)|Dec 15, 2020

Reinforcement Learning in Robotics参考文献 55被引用数 18

ひとこと要約

BeBoldは、連続する状態間の逆訪問回数の規制付き差分を用いた新しい内在的報酬（IR）メカニズムを提案し、探索済み領域を超えての探索を促進することで、カウントベースの手法における短視眼的で、分離的な問題を軽減する。この手法は、カリキュラム学習を用いずに12000万環境ステップ以内に、12の最も挑戦的な手続き的生成されたMiniGridタスクをすべて解決し、先行手法を上回る最先端の性能を達成する。

ABSTRACT

Efficient exploration under sparse rewards remains a key challenge in deep reinforcement learning. To guide exploration, previous work makes extensive use of intrinsic reward (IR). There are many heuristics for IR, including visitation counts, curiosity, and state-difference. In this paper, we analyze the pros and cons of each method and propose the regulated difference of inverse visitation counts as a simple but effective criterion for IR. The criterion helps the agent explore Beyond the Boundary of explored regions and mitigates common issues in count-based methods, such as short-sightedness and detachment. The resulting method, BeBold, solves the 12 most challenging procedurally-generated tasks in MiniGrid with just 120M environment steps, without any curriculum learning. In comparison, the previous SoTA only solves 50% of the tasks. BeBold also achieves SoTA on multiple tasks in NetHack, a popular rogue-like game that contains more challenging procedurally-generated environments.

研究の動機と目的

• 報酬が疎である状況下における深層強化学習における効率的探索の課題に取り組む。
• 既存の内在的報酬手法に見られる短視眼的で、分離的、および状態差分アプローチにおける漸近的不整合性といった制限を克服する。
• 探索済み領域の境界を越えて進むのを促す、シンプルで効果的な探索基準を開発する。
• カリキュラム学習や複雑なカリキュラム設計を用いずに、MiniGrid や NetHack のような挑戦的な手続き的環境で最先端の性能を達成する。

提案手法

• 軌道上の連続する状態間の逆訪問回数の規制付き差分に基づく新しい内在的報酬を提案する。
• 効率的かつスケーラブルな推定を可能にするために、ランダムネットワーク蒸留（RND）を用いて逆訪問回数を近似する。
• 内在的報酬を max(1/N(s_{t+1}) - 1/N(s_t), 0) として定義し、N(s) を状態 s の訪問回数とする。これにより、探索のフロンティアで高い報酬が得られる。
• 確率的環境ダイナミクスに起因する誤った報酬を防ぐために「規制付き」差分を導入し、安定性を向上させる。
• 効率的なオンポリシー追跡のため、ハッシュテーブルを用いてエピソード内訪問回数を維持する。
• 共通のアーキテクチャとハイパーパrameterを複数の環境にわたって使用する、標準的な深層強化学習フレームワークにこの手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 シンプルなカウントベースの内在的報酬メカニズムは、探索済み領域の境界を越えて効果的に探索を駆動できるか？
• RQ2 逆訪問回数の規制付き差分は、既存のIR手法と比較して、短視眼的で、分離的問題をどれほど効果的に軽減できるか？
• RQ3 この手法は、カリキュラム学習なしで、MiniGrid や NetHack のような挑戦的な手続き的環境で最先端の性能を達成できるか？
• RQ4 この手法は、特にエントロピーが高く、ノイズの多いダイナミクスを示す環境において、どの程度一般化できるか？

主な発見

• BeBoldは、12000万環境ステップ以内に、12の最も挑戦的な手続き的生成されたMiniGridタスクをすべて解決し、100％の成功率を達成した。これに対して、先行SOTAはより簡単なタスクの50％しか解決できなかった。
• MonteZuma’s Revengeにおいて、RND や RIDE よりも優れた性能を示し、RNNベースのモデルで約13,000の外的報酬を達成した（RNDは4,400）。
• BeBoldは、カウントベース手法で見られる分離問題を顕著に軽減したが、Go-Exploreのように複雑な段階的訓練を必要としなかった。
• NetHackにおいて、複数のタスクで最先端の性能を達成し、非常に複雑で手続き的に生成された環境における強力な一般化能力を示した。
• 逆訪問回数が十分な探索により消えることから、内在的報酬メカニズムは漸近的に一貫性を示し、状態差分手法で見られる持続的報酬を回避した。
• 単純さにもかかわらず、Go-Explore や RIDE よりも優れた性能を示し、特に長時間スパンの探索や境界を越える必要がある環境で顕著な優位性を示した。