[論文レビュー] Neural Episodic Control

Alexander Pritzel, Benigno Uría+6 more|arXiv (Cornell University)|Mar 6, 2017

Reinforcement Learning in Robotics参考文献 41被引用数 92

ひとこと要約

NEC は per-action differentiable neural dictionaries を用いて最近の経験からの Q-values を保存し迅速にバックアップすることで、いくつかの深層 RL ベースラインより Atari ゲームにおけるデータ効率の高い学習を大幅に速く達成します。

ABSTRACT

Deep reinforcement learning methods attain super-human performance in a wide range of environments. Such methods are grossly inefficient, often taking orders of magnitudes more data than humans to achieve reasonable performance. We propose Neural Episodic Control: a deep reinforcement learning agent that is able to rapidly assimilate new experiences and act upon them. Our agent uses a semi-tabular representation of the value function: a buffer of past experience containing slowly changing state representations and rapidly updated estimates of the value function. We show across a wide range of environments that our agent learns significantly faster than other state-of-the-art, general purpose deep reinforcement learning agents.

研究の動機と目的

• 深層強化学習におけるデータの非効率性を、報酬伝達と価値推定の高速化によって解消する。
• 遅く変化する状態表現と高速更新される価値推定を組み合わせた半表形式の記憶を活用する。
• 新しい経験の迅速な同化を可能にする、エピソード記憶に似た追加専用のメモリベースの Q-function を活用する。
• 最適学習速度を向上させるため、N-ステップの戻りと共有 CNN 埋め込みの影響を調査する。

提案手法

• Differentiable Neural Dictionary (DND) をアクションごとに導入し、(key, value) のペアを格納する。
• 共有畳み込みニューラルネットワークを用いて状態を処理し、各アクションの DND に検索するためのキー h を生成する。
• Q(s,a) を DND 内の値の最近傍カーネルを用いてキー上での加重和として取得する。
• 新しい (h, Q^(N)(s,a)) ペアを対応するアクションの DND に書き込み、既存のキーは tabular updater のように Q-learning で更新する。
• N-ステップの Q-learning のターゲットは Q^(N)(s,a)= sum_{j=0}^{N-1} gamma^j r_{t+j} + gamma^N max_a' Q(s_{t+N}, a'), 最大値はすべてのメモリを照会して得られる。
• ミニバッチをリプレイバッファから取り出して、予測された Q(s,a) と Q^(N)(s,a) の L2 ロスを最小化することでエンドツーエンドで微分可能なネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 半表形式の価値関数を持つメモリ拡張型アプローチは Atari のような深層 RL 環境でデータ効率の高い学習を加速できるか？
• RQ2 DND による高速更新メモリをアクションごとに追加することは、標準的な DQN/A3C ベースラインと比較して報酬伝播と学習速度にどのような影響を与えるか？
• RQ3 N-ステップの Q-learning と微分可能なメモリが、異なる Atari ゲーム全体で最終性能とデータ効率に与える影響はどの程度か？
• RQ4 追加のみ書き込み可能な大規模メモリと近似最近傍アクセスは、メモリ内のエピソードリセットより実用的な利点を提供するか？

主な発見

フレーム	Nature DQN	Q*(λ)	Retrace(λ)	Prioritised Replay	A3C	NEC	MFEC
1M	-0.7%	-0.8%	-0.4%	-2.4%	0.4%	16.7%	12.8%
2M	0.0%	0.1%	0.2%	0.0%	0.9%	27.8%	16.7%
4M	2.4%	1.8%	3.3%	2.7%	1.9%	36.0%	26.6%
10M	15.7%	13.0%	17.3%	22.4%	3.6%	54.6%	45.4%
20M	26.8%	26.9%	30.4%	38.6%	7.9%	72.0%	55.9%
40M	52.7%	59.6%	60.5%	89.0%	18.4%	83.3%	61.9%
(Table 1) Median human-normalised scores across games at different frames
Note: values represent human-normalised scores as reported in the paper.

• NEC は Atari ゲーム全般で、データが少ない状況で DQN、A3C、いくつかの λ-リターンベースラインよりも大幅に速く学習する。
• 初期学習の段階で NEC はすべてのベースラインを上回る；約 4000 万フレーム付近で Prioritised Replay を用いた DQN が NEC を平均で追い越すことがある。
• NEC はテストされたゲームの約 25% で 10Million フレーム程度で人間レベルの性能を達成し、高いデータ効率を示す。
• NEC と MFEC はともにエピソード様の価値推定を探索するが、NEC は報酬誘導型の埋め込みを用いて値の外挿を改善する。
• 学習速度とデータ効率の点で、特に約 5-10 百万フレーム前後は NEC が MFEC および Prioritised Replay よりも優れている。