[論文レビュー] Towards mental time travel: a hierarchical memory for reinforcement learning agents

Andrew K. Lampinen, Stephanie C. Y. Chan+2 more|arXiv (Cornell University)|May 28, 2021

Reinforcement Learning in Robotics被引用数 9

ひとこと要約

本論文は、時間的チャンクに分けられた記憶に対する階層的アテンションを用いる、強化学習エージェント向けの新しいメモリアーキテクチャ、階層的チャンクアテンションメモリ（HCAM）を提案する。HCAMは、記憶の粗い要約にまずアテンションを適用し、その後で最も関連性の高いチャンクに詳細に注目することで、過去の出来事の詳細なスパースな想起を可能にする。このアーキテクチャによりエージェントは、記憶の粗い要約から詳細な記憶にまで「心の時間旅行」を行うことができ、長期記憶、サンプル効率、一般化性能が著しく向上する。特に、長時間にわたるシーケンスを用いた推論や、エピソード間でのゼロショット転移を要するタスクにおいて顕著な効果を示す。

ABSTRACT

Reinforcement learning agents often forget details of the past, especially after delays or distractor tasks. Agents with common memory architectures struggle to recall and integrate across multiple timesteps of a past event, or even to recall the details of a single timestep that is followed by distractor tasks. To address these limitations, we propose a Hierarchical Chunk Attention Memory (HCAM), which helps agents to remember the past in detail. HCAM stores memories by dividing the past into chunks, and recalls by first performing high-level attention over coarse summaries of the chunks, and then performing detailed attention within only the most relevant chunks. An agent with HCAM can therefore "mentally time-travel" -- remember past events in detail without attending to all intervening events. We show that agents with HCAM substantially outperform agents with other memory architectures at tasks requiring long-term recall, retention, or reasoning over memory. These include recalling where an object is hidden in a 3D environment, rapidly learning to navigate efficiently in a new neighborhood, and rapidly learning and retaining new object names. Agents with HCAM can extrapolate to task sequences much longer than they were trained on, and can even generalize zero-shot from a meta-learning setting to maintaining knowledge across episodes. HCAM improves agent sample efficiency, generalization, and generality (by solving tasks that previously required specialized architectures). Our work is a step towards agents that can learn, interact, and adapt in complex and temporally-extended environments.

研究の動機と目的

• 長時間の遅延や干渉タスクの後でも、詳細なエピソード的記憶を保持する現行のメモリアーキテクチャの限界を克服すること。
• 不要な中間の出来事による干渉を受けることなく、人間の心の時間旅行に類似した詳細な過去の出来事のスパースな想起を、強化学習エージェントに可能にすること。
• メモリアウグメントされた強化学習エージェントにおけるサンプル効率、一般化性能、ハイパーパrameterの変動に対するロバスト性を向上させること。
• トレーニング中に観測したシーケンスよりも著しく長いタスクシーケンスへの外挿を可能にすること。
• メタラーニング設定から複数エピソードにわたる記憶維持へのゼロショット一般化を可能にすること。

提案手法

• HCAMはエージェントの過去を固定長の時間的チャンクに分割し、それぞれをメモリユニットとして保存する。
• リコール時、HCAMはまずチャンク要約に対する粗いグレインのアテンションを適用して関連するメモリチャンクを特定する。
• 次に、最も関連性の高いチャンクに限定して、詳細な情報の取得のための細かいグレインのアテンションを実行する。
• このアーキテクチャは二段階のアテンションメカニズムを用いる：まずチャンク要約に対するハイレベルアテンションを実行し、その後で選択されたチャンク内でのローレベルアテンションを実行する。
• HCAMは強化学習エージェントのポリシーネットワークに統合され、メモリアウグメントされた意思決定を可能にする。
• この手法はハイパーパrameterの変動に対してロバストであるように設計されており、チャンク境界のエンドツーエンドトレーニングを必要としない。

実験結果

リサーチクエスチョン

• RQ1 階層的メモリアーキテクチャは、長時間の遅延や干渉タスクの後でも、強化学習エージェントが詳細な過去の出来事の想起を可能にするか？
• RQ2 HCAMは、メモリ集約的強化学習タスクにおけるサンプル効率と一般化性能をどの程度向上させるか？
• RQ3 HCAMを搭載したエージェントは、トレーニング時に観測したシーケンスよりも著しく長いタスクシーケンスに外挿できるか？
• RQ4 HCAMは、メタラーニングから複数エピソードにわたる記憶維持へのゼロショット一般化を可能にするか？
• RQ5 ハイパーパrameterの変動に対して、HCAMはTransformerXL や LSTM ベースのメモリアーキテクチャと比較して、どの程度ロバストで高いパフォーマンスを示すか？

主な発見

• HCAMエージェントは、15億ステップのトレーニングで最も困難なタスク（例：8ダンス、長時間の遅延）で80–90％のパフォーマンスを達成し、同じタスクで最高のTrXLエージェントが40–50％にとどまったのを上回った。
• HCAMエージェントの75％が、最も困難なタスクで最高のTrXLエージェントを上回り、ペアド t テストによる統計的有意差（p = 0.001 および p = 0.01）を示した。
• HCAMエージェントは、20個の干渉タスクや1つの干渉タスクを含む4エピソードのタスクでも高いパフォーマンスを維持したが、TrXLエージェントは再現実験において有意に有意水準を超えるパフォーマンスを示さなかった。
• 急速な語彙学習タスクにおいて、HCAMエージェントの50％が50億ステップ以内に高いトレーニングパフォーマンスを達成したのに対し、TrXLエージェントは17％にとどまった。
• HCAMはハイパーパrameterの変動に対して優れたロバスト性を示し、学習率やエントロピー重みの変更に対しても一貫したパフォーマンスを維持した。これに対してTrXLは高い感受性を示した。
• HCAMは、メタラーニングから複数エピソードにわたる記憶維持へのゼロショット一般化を可能にしたが、これまでは他のアーキテクチャでは達成できなかった能力であった。