[論文レビュー] Observe and Look Further: Achieving Consistent Performance on Atari

Tobias Pohlen, Bilal Piot+11 more|arXiv (Cornell University)|May 29, 2018

Reinforcement Learning in Robotics参考文献 18被引用数 85

ひとこと要約

本論文は Ape-X DQfD を導入し、変換された Bellman 演算子、時間的一貫性損失、デモンストレーションを備えた分散 DQN の変種を提案。40/42 の Atari ゲームで人間レベルの性能を達成し、Montezuma’s Revenge の最初のレベルを解決。

ABSTRACT

Despite significant advances in the field of deep Reinforcement Learning (RL), today's algorithms still fail to learn human-level policies consistently over a set of diverse tasks such as Atari 2600 games. We identify three key challenges that any algorithm needs to master in order to perform well on all games: processing diverse reward distributions, reasoning over long time horizons, and exploring efficiently. In this paper, we propose an algorithm that addresses each of these challenges and is able to learn human-level policies on nearly all Atari games. A new transformed Bellman operator allows our algorithm to process rewards of varying densities and scales; an auxiliary temporal consistency loss allows us to train stably using a discount factor of $γ= 0.999$ (instead of $γ= 0.99$) extending the effective planning horizon by an order of magnitude; and we ease the exploration problem by using human demonstrations that guide the agent towards rewarding states. When tested on a set of 42 Atari games, our algorithm exceeds the performance of an average human on 40 games using a common set of hyper parameters. Furthermore, it is the first deep RL algorithm to solve the first level of Montezuma's Revenge.

研究の動機と目的

• 多様な Atari ゲームにおける人間レベルの性能達成に向けた主な課題を特定する（報酬分布、長期的推論、探索）。
• 最適ポリシーを変更せずに、クリッピングされていない報酬と高い割引率を扱える安定した学習アルゴリズムを開発する。
• 分散 RL フレームワーク内で expert デモンストレーションを活用し、探索とサンプル効率を向上させる。
• 希薄報酬ゲームを含む大規模な Atari セット全体で、既存の DQN 変種に対する性能向上を示す。

提案手法

• クリッピング報酬を行わず対象分散を減らす変換された Bellman 演算子を導入する。
• 高い割引率 gamma=0.999 の安定学習を可能とする補助的な時間的一貫性（TC）損失を利用する。
• Ape-X 分散経験リプレイと Deep Q-learning from Demonstrations (DQfD) を組み合わせ、オンラインエージェントデータと expert デモの統合を図る。
• 訓練中は best experttrajectory のみ imitation loss を適用し、固定された actor–expert データの混合を維持する。
• 変換された演算子、TC 損失、デモンストレーションの寄与を定量化するアブレーション研究を提供する。

実験結果

リサーチクエスチョン

• RQ1 変換された Bellman 演算子は、クリッピングなしのさまざまな報酬スケールに対して Q 学習を安定化できるか？
• RQ2 時間的一貫性損失は gamma が 1 に近い場合の安定した学習と効果的な計画範囲を実現できるか？
• RQ3 分散 DQN フレームワークにデモンストレーションを組み込むと、 Atari ゲームにおける性能と探索はどう変化するか？
• RQ4 提案手法は Montezuma’s Revenge や Pitfall!? のような希薄報酬ゲームでどの程度性能を改善するか？

主な発見

• アルゴリズムは同じハイパーパラメータで 40/42 の Atari ゲームで平均的な人間の性能を超える。
• Montezu ma’s Revenge の最初のレベルを完了した初の Deep RL 手法である。
• TC 損失を用いた gamma=0.999 の高い割引率は拡張された計画 horizon と安定した学習を生み出す。
• 変換された Bellman 演算子、TC 損失、デモンストレーションの組み合わせは、ベースラインと比較してゲーム全体で一貫性と性能の向上をもたらす。
• gamma=0.999 を用いたより深いネットワークアーキテクチャはさらに結果を改善し、40/42 のゲームで平均以上の人間性能を達成した。