[論文レビュー] A Short Survey On Memory Based Reinforcement Learning

D. Roja Ramani|arXiv (Cornell University)|Apr 14, 2019

Reinforcement Learning in Robotics参考文献 43被引用数 14

ひとこと要約

本論文は、高報酬の経験を保存・再利用することでサンプル効率を向上させる記憶ベースの強化学習手法を調査し、深層強化学習における意思決定を改善するための外部記憶モジュールの利用を検討する。メモリネットワークや微分可能ニューラルコンピュータなどのアーキテクチャをレビューし、Atari、迷路、Concentration環境での性能を評価。エピソード記憶が報酬が疎な環境で学習を加速することを強調する。

ABSTRACT

Reinforcement learning (RL) is a branch of machine learning which is employed to solve various sequential decision making problems without proper supervision. Due to the recent advancement of deep learning, the newly proposed Deep-RL algorithms have been able to perform extremely well in sophisticated high-dimensional environments. However, even after successes in many domains, one of the major challenge in these approaches is the high magnitude of interactions with the environment required for efficient decision making. Seeking inspiration from the brain, this problem can be solved by incorporating instance based learning by biasing the decision making on the memories of high rewarding experiences. This paper reviews various recent reinforcement learning methods which incorporate external memory to solve decision making and a survey of them is presented. We provide an overview of the different methods - along with their advantages and disadvantages, applications and the standard experimentation settings used for memory based models. This review hopes to be a helpful resource to provide key insight of the recent advances in the field and provide help in further future development of it.

研究の動機と目的

• 外部記憶を統合することでサンプル効率と意思決定を向上させる最近の強化学習手法をレビューすること。
• 深層RLにおける異なる記憶アーキテクチャの利点と制限を分析すること。
• 記憶ベースのRLエージェントを評価するための標準的なテスト環境の包括的概要を提供すること。
• 記憶拡張RLシステム設計における海馬からの生物学的インスピレーションを強調すること。
• 将来的な記憶拡張強化学習分野の研究の基盤となること。

提案手法

• 状態、行動、報酬、遷移ダイナミクスを伴う逐次的意思決定をモデル化するためのマルコフ決定過程（MDP）フレームワークを使用する。
• 特に高報酬の経験を迅速に学習可能にするために、過去の経験を保存・再取得する外部記憶モジュールを採用する。
• 埋め込みベースの比較を用いて、現在の観測と保存済み記憶との類似度を計算するための比較ネットワークを適用する。
• 好奇心ボーナス機構を導入：b = α(β − C(M, e)) ここで C(M, e) は記憶類似度を測る指標であり、b は新しい経験を保存するかどうかを決定する。
• 好奇心ボーナスに基づいて、新しい観測埋め込みを記憶に追加するかどうかを判断するためのノベルティ閾値を用いる。
• 一部のモデルでは経験リプレイに優先順位付きサンプリングとターゲットネットワークを採用しているが、主な焦点は標準DQNを超える記憶拡張アーキテクチャに向けられている。

実験結果

リサーチクエスチョン

• RQ1 外部記憶モジュールは、深層強化学習におけるサンプル効率をどのように向上させるか？
• RQ2 記憶拡張RLエージェントの主なアーキテクチャ設計は何か、それぞれの違いは何か？
• RQ3 記憶ベースの手法は、部分的に観測可能な環境や報酬が疎な環境において、標準的な深層RLアルゴリズムをどのように上回るか？
• RQ4 記憶ベースのエージェントは、ランダムに生成された迷路のような未確認の環境にどのように一般化するか？
• RQ5 記憶拡張モデルは、海馬の働きに類似した生物学的学習メカニズムをどの程度模倣するか？

主な発見

• 記憶ベースのRL手法は、高報酬の経験を想起・再利用可能にすることで、サンプル効率を顕著に向上させる。
• 好奇心ボーナス機構の導入により、エージェントは新規経験を優先的に選択し、報酬が疎な環境での探索を改善する。
• 2次元および3次元の迷路環境では、エピソード記憶を活用した記憶拡張エージェントが、標準DQNやA3Cを上回る性能を発揮する。
• Atari環境では、記憶拡張エージェントが標準的な深層RLベースラインよりも少ない環境相互作用で人間水準のパフォーマンスを達成する。
• Concentrationゲームのベンチマークは、記憶ベースのエージェントが長期記憶とパターン認識を要するタスクを解くことができ、非記憶モデルを上回ることを示している。
• 記憶モジュールの統合により、収束が速くなり、特に部分的に観測可能なマルコフ決定過程において一般化性能が向上する。