[論文レビュー] Episodic Memory Deep Q-Networks

Zichuan Lin, Tianqi Zhao+2 more|arXiv (Cornell University)|May 19, 2018

Reinforcement Learning in Robotics参考文献 16被引用数 4

ひとこと要約

本論文は、エピソード記憶を用いて学習を監視することで、深層Q学習を向上させる生物学的インスピレーションを受けて設計された、エピソード記憶深層Qネットワーク（EMDQN）を提案する。高報酬の軌道を学習可能な重み係数λを介してQネットワークに凝縮することで、標準DQNが要するデータの1/5でアタリゲームで最先端の性能を達成し、サンプル効率を著しく向上させるとともに、Q値の過大評価を軽減する。

ABSTRACT

Reinforcement learning (RL) algorithms have made huge progress in recent years by leveraging the power of deep neural networks (DNN). Despite the success, deep RL algorithms are known to be sample inefficient, often requiring many rounds of interaction with the environments to obtain satisfactory performance. Recently, episodic memory based RL has attracted attention due to its ability to latch on good actions quickly. In this paper, we present a simple yet effective biologically inspired RL algorithm called Episodic Memory Deep Q-Networks (EMDQN), which leverages episodic memory to supervise an agent during training. Experiments show that our proposed method can lead to better sample efficiency and is more likely to find good policies. It only requires 1/5 of the interactions of DQN to achieve many state-of-the-art performances on Atari games, significantly outperforming regular DQN and other episodic memory based RL algorithms.

研究の動機と目的

• エピソード記憶を深層Qネットワークに統合することで、深層強化学習におけるサンプル効率を向上させること。
• 近似的に決定的である環境において、標準DQNの収束が遅く、大量のデータを要する問題を解決すること。
• ダブルQ学習に依存せずに、関数近似Q学習におけるQ値の過大評価を軽減すること。
• パrametric（DQN）と非パラメトリック（エピソード制御）学習システムの生物学的インスピレーションに基づく統合を検討し、より良い方策学習を実現すること。

提案手法

• EMDQNは、標準DQN損失とエピソード記憶から導出された監視信号を組み合わせるための学習可能な重み係数λを導入する。
• エピソード記憶は、過去のエピソードから得られた高報酬の状態-行動軌道を格納し、Qネットワークの更新におけるターゲット値を提供する。
• Qネットワークは、標準DQN損失と、最高の歴史的軌道のリターンにQ値を引き寄せる記憶監視損失のハイブリッド損失を用いて訓練される。
• エピソード記憶は、各エピソードで観測された最も報酬の高いシーケンスを格納することで、学習中に更新される。
• 本手法は、DQNと同様にターゲットネットワークと経験再生を用いるが、学習の加速と訓練の安定化を図るためにエピソード記憶信号を統合する。
• λの値は学習中に固定されるが、論文では動的調整によりさらなる性能向上が可能であると示唆している。

実験結果

リサーチクエスチョン

• RQ1 エピソード記憶は、アタリ環境における深層Q学習のサンプル効率を向上させることができるか？
• RQ2 エピソード記憶は、深層RLにおけるQ値推定の安定性と収束にどのように影響するか？
• RQ3 ダブルQ学習を用いずに、エピソード記憶が自然にQ値の過大評価を軽減できるか？
• RQ4 パラメトリックと非パラメトリック学習システムの統合が、深層強化学習に与える影響は何か？

主な発見

• EMDQNは、標準DQNが要するデータの1/5で、アタリゲームで最先端の性能を達成する。
• 本手法は、訓練時間とサンプル複雑性を著しく削減しながら、最終的な性能を維持または向上させる。
• EMDQNは、DQNと比較してQ値学習曲線の分散が低く、より安定した学習信号を示す。
• アルゴリズムは自然にQ値の過大評価を緩和し、DQNが訓練中に見られる深刻な報酬の低下を回避する。
• Battlezoneのようなゲームでは、後期の訓練段階で性能がわずかに低下する傾向があるため、探索と活用のバランスを取るために動的λ調整の可能性が示唆される。
• エピソード記憶信号は、局所的バウンディングを用いた先行の最適性強化手法とは異なり、完全な報酬伝搬を提供する。