[論文レビュー] Model-Free Episodic Control

Charles Blundell, Benigno Uría+7 more|arXiv (Cornell University)|Jun 14, 2016

Memory and Neural Mechanisms参考文献 35被引用数 172

ひとこと要約

本論文は、高リターン経験を迅速に蓄積・再生する非パラメトリックなエピソード記憶制御機構を導入し、ディープRL法よりもはるかに速く方策を学習できることを示す。 Atari および Labyrinth 環境で実証。

ABSTRACT

State of the art deep reinforcement learning algorithms take many millions of interactions to attain human-level performance. Humans, on the other hand, can very quickly exploit highly rewarding nuances of an environment upon first discovery. In the brain, such rapid learning is thought to depend on the hippocampus and its capacity for episodic memory. Here we investigate whether a simple model of hippocampal episodic control can learn to solve difficult sequential decision-making tasks. We demonstrate that it not only attains a highly rewarding strategy significantly faster than state-of-the-art deep reinforcement learning algorithms, but also achieves a higher overall reward on some of the more challenging domains.

研究の動機と目的

• 強化学習において、海馬に触発されたエピソード制御を活用して、ファストでワンショットに近い学習を促進する。
• 高リターンの状態-行動の traces を格納・再生する、単純な非パラメトリックエピソードメモリ（Q_EC）を開発する。
• 最近傍法に基づくスキームと表現を用いて、表形式RLのメモリと一般化の課題に対処する。
• 固定環境において、データ効率の良い学習と、基準となるディープRL法と競合する、あるいはそれを上回る性能を実証する。

提案手法

• 各状態-行動ペアに対して達成された最高リターンを蓄える、成長する非パラメトリック表 Q_EC(s,a) を維持する。
• 各アクションごとのバッファで k 最近傍法を用いて、新規状態に対して Q_EC を generalize するため、保存された k 個の最近傍状態の値を平均する（式 2）。
• 観測を特徴写像 φ（ランダムプロジェクションまたは VAE ベースの潜在特徴）で埋め込み、状態空間距離を決定する。
• 現在の Q_EC による方策を用いてエピソードを実行し、次にエピソード全体を逆再生して Q_EC エントリを更新する（式 1）。
• 成長を管理するため、LRU 忘却でメモリを制限し、アクションごとにバッファを上限する。
• 分散要因を捉え、距離指標を改善する手段として VAEs を用いた表現学習を議論する（VAEs の付録）。

実験結果

リサーチクエスチョン

• RQ1 勾配ベース更新を用いずに、高リターンの経験を再利用して、モデルフリーのエピソード制御は高速な学習を達成できるか。
• RQ2 メモリサイズ、最近傍パラメータ（k）、表現の選択が、決定論的および確率的風の環境でのパフォーマンスと一般化にどのように影響するか。
• RQ3 状態が再訪問されにくい、より現実的な3D環境でもエピソード制御は有効であり続けるか。
• RQ4 データ効率性の観点で、エピソード記憶と組み合わせた単純な探索（ε-greedy）の影響は何か。

主な発見

• エピソード制御は、Atariゲームと Labyrinth レベルの初期学習段階で、最先端の深層RLアルゴリズムよりも著しく高速に学習する。
• k-NN バッファと単純な表現を用いると、初期学習段階において DQN、プライオリティ付きリプレイを用いた DQN、A3C を上回る。
• 決定論的な Atari 環境では、多くの状態と行動が再訪問され、エピソード記憶の有効な活用を可能にする（例：再遭遇される状態の割合が 10-60%）。
• Labyrinth では、エピソード制御はワンショットに近い学習を達成し、特に sparse 報酬設定（Double-T-Maze）で A3C の性能を上回るか、素早く接近する。
• VAEs を用いた表現が Labyrinth で一般化の利点を生み、より大きな k が最終性能を改善する。一方、Atari は課題構造次第で結果が分かれる。
• エピソード制御と組み合わせた単純な epsilon-greedy 探索戦略で、快速な学習が十分に実現可能。