[論文レビュー] Learning Montezuma's Revenge from a Single Demonstration

Tim Salimans, Richard J. Chen|arXiv (Cornell University)|Dec 8, 2018

Reinforcement Learning in Robotics参考文献 32被引用数 84

ひとこと要約

この論文は、モンティズマの復讈のような希少報酬タスクを解くために、単一のデモンストレーションから状態を開始する強化学習アプローチを提示し、模倣なしで最先端のスコアを達成します。

ABSTRACT

We propose a new method for learning from a single demonstration to solve hard exploration tasks like the Atari game Montezuma's Revenge. Instead of imitating human demonstrations, as proposed in other recent works, our approach is to maximize rewards directly. Our agent is trained using off-the-shelf reinforcement learning, but starts every episode by resetting to a state from a demonstration. By starting from such demonstration states, the agent requires much less exploration to learn a game compared to when it starts from the beginning of the game at every episode. We analyze reinforcement learning for tasks with sparse rewards in a simple toy environment, where we show that the run-time of standard RL methods scales exponentially in the number of states between rewards. Our method reduces this to quadratic scaling, opening up many tasks that were previously infeasible. We then apply our method to Montezuma's Revenge, for which we present a trained agent achieving a high-score of 74,500, better than any previously published result.

研究の動機と目的

• 希少報酬環境の難しい探索タスクの解決を動機づける。
• デモンストレーションによるカリキュラムを直接報酬最適化で回避する。
• デモンストレーション状態へのリセットが、探索の難易度を指数的から二次的へと削減することを示す。
• 以前の方法と比較してAtariレベルのタスクでのスケーラビリティと効果を示す。

提案手法

• デモンストレーション状態からエピソードを開始し、デモンストレーションの始点に向けてリセットを徐々に移動させてカリキュラムを構築する。
• 複数の並列ロールアウトワーカーがRLポリシーを共有してデータを収集し、中央最適化サーバーがポリシーを更新する。
• デモンストレーションのセグメントからRNNポリシーの隠れ状態を初期化し、訓練時にはその遷移をマスキングする。
• ポリシー更新のために既成のRLアルゴリズム（例：PPO、A3C、Impala）を適用する。
• デモンストレーションを打ち破る割合の閾値ρに基づきリセット点を動的に調整する。
• デモンストレーションのスコアを打ち破るよう、徐々にデモンストレーションの前方の状態へ戻すようにエージェントを訓練する。

実験結果

リサーチクエスチョン

• RQ1 モンティズマの復讐のような希少報酬環境で、デモンストレーション状態からエピソードを開始することは効果的な学習を可能にするか。
• RQ2 デモンストレーションに導かれたカリキュラムは、探索の複雑さを指数関数的からより扱いやすい成長へ削減するか。
• RQ3 最終的なパフォーマンスとサブ最適なデモンストレーションに対する頑健性の観点で、模倣ベースの手法と比較して本アプローチはどうか。
• RQ4 Atariレベルのタスクでの訓練に必要な計算資源やネットワークアーキテクチャなど、スケーラビリティと実用的要件はどの程度か。

主な発見

アプローチ	スコア
Count-based exploration (Ostrovski et al. 2017)	3,705.5
Unifying count-based exploration (Bellemare et al. 2016)	6,600
DQfD (Hester et al. 2017)	4,739.6
Ape-X DQfD (Pohlen et al. 2018)	29,384
Playing by watching Youtube (Aytar et al. 2018)	41,098
Ours	74,500

• 本手法はモンティズマの復讐の最終スコアを74,500に達成し、これまでに公表された結果を上回った。
• おもちゃのブラインド・クリフ・ウォークの実験では、デモンストレーション状態から開始することで探索の複雑さを指数関数的から二次的に削減した。
• エージェントは追加のダイヤモンドを収集し、新しい道筋を発見することでデモンスコアを超えることができた（例：鍵の再出現）。
• カリキュラムはデモンストレーションの終端から始点へとリセット点を移動させる形で、約2週間で128GPUを用いて訓練された。
• このアプローチはハードな模倣なしで学習し、報酬を直接最適化することで新たな戦略を発見する可能性がある。