[論文レビュー] Integrating Episodic Memory into a Reinforcement Learning Agent using Reservoir Sampling

Kenny Young, Richard S. Sutton+1 more|arXiv (Cornell University)|Jun 1, 2018

Neural Networks and Reservoir Computing参考文献 15被引用数 6

ひとこと要約

本論文では、エピソードメモリをリザボア・サンプリングを用いて統合することで、長期依存関係の効率的オンライン学習を可能にする新しい強化学習アルゴリズムを提案する。過去の状態を学習可能な重要度重みで保存し、リザボア・サンプリングによる勾配推定を用いることで、時間遡及のバックプロパゲーションを必要とせず、有用なメモリを優先学習する。本手法は、急激な長期依存関係を示すタスクにおいて、ほぼ完璧な性能を達成する。

ABSTRACT

Episodic memory is a psychology term which refers to the ability to recall specific events from the past. We suggest one advantage of this particular type of memory is the ability to easily assign credit to a specific state when remembered information is found to be useful. Inspired by this idea, and the increasing popularity of external memory mechanisms to handle long-term dependencies in deep learning systems, we propose a novel algorithm which uses a reservoir sampling procedure to maintain an external memory consisting of a fixed number of past states. The algorithm allows a deep reinforcement learning agent to learn online to preferentially remember those states which are found to be useful to recall later on. Critically this method allows for efficient online computation of gradient estimates with respect to the write process of the external memory. Thus unlike most prior mechanisms for external memory it is feasible to use in an online reinforcement learning setting.

研究の動機と目的

• マルコフ性が成り立たない非マルコフ的強化学習環境において、長期依存関係を学習する課題に対処すること。
• 時間遡及のバックプロパゲーションを回避することで、外部メモリを備えたエージェントの効率的オンライン学習を可能にすること。
• 完全な履歴追跡を必要とせず、将来の有用性に基づいて過去の状態に対する信用配分を可能にするメモリ機構の開発。
• 学習可能な重要度重みを有する固定サイズの過去状態セットを維持する微分可能でスケーラブルなメモリシステムの設計。
• エピソードメモリにリザボア・サンプリングを適用することで、急激な長期信用配分を要するタスクにおいて安定的かつ高精度な学習が可能になることの実証。

提案手法

• エージェントは固定サイズ n の外部メモリを維持し、微分可能かつ学習可能なライトプロセスにより、関連する重要度重みを有する過去の状態を保存する。
• リザボア・サンプリング手順を用いて、過去の状態を確率的選択し、そのメモリセットが利用価値に基づいた状態分布を代表するようにする。
• ライト重みは、リザボア・サンプリング機構から得られる勾配推定値を用いて確率的勾配降下法により学習され、オンライン学習が可能になる。
• ポリシー・ネットワークは、クエリ・ネットワークを介して現在の状態と保存済み状態との類似度を計算し、その出力を行動ポリシーの条件付けに用いる。
• 価値関数およびポリシー・ネットワークは、メモリからの経験を用いたアドバンテージ・アクトアクリティックで訓練され、システム全体が標準的なSGDを用いてエンドツーエンドで最適化される。
• 主なイノベーションは、時間遡及のバックプロパゲーションを必要としないライトプロセスに関する勾配推定の導出であり、これによりオンライン学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 非マルコフ的環境において、強化学習エージェントは、意思決定に有用な過去の状態のみを優先的に保持・記憶する能力を学習できるか？
• RQ2 時間遡及のバックプロパゲーションに依存せずに、外部メモリシステムをオンラインで学習可能か？
• RQ3 リザボア・サンプリングを用いたエピソードメモリは、再帰的アーキテクチャと比較して、長期依存関係の学習においてどのように性能を発揮するか？
• RQ4 ストリーミングかつオンライン環境下で、メモリライトプロセスに関する勾配推定を効率的に行うことは可能か？
• RQ5 提案手法は、急激な長期信用配分を要するタスクにおいて、安定的かつ高精度な学習を達成できるか？

主な発見

• エピソードメモリエージェントは、1-意思決定および2-意思決定チェーン環境においてほぼ完璧な平均リターンを達成し、長期依存関係の有効な学習を示した。
• 無意味な状態のライト重みはほぼゼロにまで低下した一方で、有用な状態のライト重みは高い水準を維持した。これにより、有効なメモリ選択が実現された。
• 本手法では、カーネルループを回避するための割引率やエントロピー正則化の導入が不要であった。これに対して、再帰的ベースラインでは、安定した学習のためのこれらの調整が必要であった。
• 環境長が25,000エピソードから50,000エピソードに増加した際、収束時間はおおよそ2倍に伸びたが、各実行で安定した学習が維持された。
• リザボア・サンプリングに基づくメモリシステムにより、履歴長に依存しない定常的なメモリおよび計算コストを実現し、スケーラビリティを確保した。
• 再帰的ベースラインでは、安定した学習のためRMSPropとハイパーパramータチューニング（例：γ=0.9、エントロピー重み0.0005）が必要であったが、エピソードメモリエージェントは標準的なSGDと調整なしで良好な性能を示した。