[論文レビュー] Been There, Done That: Meta-Learning with Episodic Recall

Samuel Ritter, Jane X. Wang+5 more|arXiv (Cornell University)|May 24, 2018

Domain Adaptation and Few-Shot Learning参考文献 16被引用数 32

ひとこと要約

本論文では、微分可能な神経辞書（DND）とゲート付き再帰ユニット（epLSTM）を用いたエピソード記憶拡張メタラーニングエージェントを提案し、オープンエンドで繰り返し発生する環境における生涯学習を可能にする。エージェントは文脈に基づく記憶想起により、繰り返し発生するタスクにおける再学習を顕著に低減する。実験結果では、信頼性の高い記憶想起と、5つの多様なメタラーニング環境における性能向上が示された。

ABSTRACT

Meta-learning agents excel at rapidly learning new tasks from open-ended task distributions; yet, they forget what they learn about each task as soon as the next begins. When tasks reoccur - as they do in natural environments - metalearning agents must explore again instead of immediately exploiting previously discovered solutions. We propose a formalism for generating open-ended yet repetitious environments, then develop a meta-learning architecture for solving these environments. This architecture melds the standard LSTM working memory with a differentiable neural episodic memory. We explore the capabilities of agents with this episodic LSTM in five meta-learning environments with reoccurring tasks, ranging from bandits to navigation and stochastic sequential decision problems.

研究の動機と目的

• 新しいタスクが提示された際に、以前に学習したタスクを忘れるというメタラーニングエージェントの限界を解消すること。
• タスクが自然な頻度分布に従って再発生するオープンエンドで繰り返し発生する環境を形式的に定式化すること。
• タスクが再発生した際に、迅速に以前に学習したポリシーを想起・再利用できるメタラーニングアーキテクチャを開発すること。
• エピソード記憶をメタラーニングと統合し、サンプル効率を向上させるとともに、繰り返しタスクにおける再探索を低減すること。
• バンディット、ナビゲーション、順序決定タスクを含む多様な環境で、アーキテクチャの性能を評価すること。

提案手法

• Zipfに類似した再発生頻度を持つオープンエンドで繰り返し発生するタスク系列を生成するため、ブラックウェル＝マククインのウーム方式を用いた確率的タスクプロセスを提案する。
• 標準LSTMに微分可能な神経辞書（DND）を組み合わせたepLSTMアーキテクチャを導入し、エピソード記憶の保存と取得を可能にする。
• 文脈的キューに応じて、取得したエピソード記憶をLSTMの作業記憶へ流入させる制御に、乗法的再活性化ゲート（r-gate）を採用する。
• 二重記憶メカニズムを採用：長期的エピソード記憶（DND）はタスク固有の隠れ状態を保存し、LSTMはオンライン意思決定のための作業記憶を維持する。
• 各タスクが分布𝒟からサンプリングされ、インダクティブバイアスを通じて素早く適応できるメタラーニングフレームワークでエージェントを訓練する。
• DNDの埋め込み品質と近傍ベースの検索を向上させるために、コントラスト損失と補助学習を適用する。

実験結果

リサーチクエスチョン

• RQ1 オープンエンドで繰り返し発生する環境において、メタラーニングエージェントは、タスクが再発生した際に、以前に学習したポリシーを効果的に想起・再利用できるか？
• RQ2 微分可能なエピソード記憶の統合により、繰り返しタスクにおけるサンプル効率が向上し、再探索が低減するか？
• RQ3 r-gateメカニズムは、文脈的関連性に基づいてエピソード記憶を的確にゲート制御できるか？
• RQ4 保存済みポリシーを組み合わせることで、合成タスクに一般化できるか？
• RQ5 エピソード記憶は、遅延フィードバックを伴うマルチステートMDPにおける学習ダイナミクスにどのように影響を与えるか？

主な発見

• r-gateメカニズムは、活性化レベルに統計的に有意な差を示した。cuedエピソードにおける正解行動時（平均 = 0.365）は、誤り行動時（平均 = 0.358）と比較して有意に高く、p < 1e-20であった。
• エピソード記憶を備えたエージェントは、再発生タスクにおける再探索が低減しており、再学習からではなく「途中から再開」することができた。
• カテゴリベースの文脈キューを用いて、保存済みポリシーの効果的な意味的記憶の想起が実現した。
• 神経科学にインspiredされたウォーターメイズタスクでは、エージェントが人間のエピソード想起に類似した記憶ベースの学習戦略を発見した。
• エピソード記憶システムにより、以前に学習した部分ポリシーを組み合わせることで、合成タスクを効果的に処理できるようになった。
• DNDベースの検索メカニズムは、マルチステートMDPにおいても頑健であり、記憶の再活性化が長時間にわたるシーケンスにおけるナビゲーションと意思決定を支援した。