[論文レビュー] Metalearned Neural Memory

Tsendsuren Munkhdalai, Alessandro Sordoni+2 more|arXiv (Cornell University)|Jul 23, 2019

Anomaly Detection Techniques and Applications被引用数 23

ひとこと要約

この論文は、メモリを微分可能で迅速に適応可能な深層ニューラルネットワーク関数として扱うことで、再帰的ニューラルネットワークを強化するメタラーニングされたニューラルメモリ機構を提案する。メタラーニングを用いて1ステップでメモリ関数を更新することで、教師あり質問応答や強化学習を含む多様なタスクで優れた性能を達成する。

ABSTRACT

We augment recurrent neural networks with an external memory mechanism that builds upon recent progress in metalearning. We conceptualize this memory as a rapidly adaptable function that we parameterize as a deep neural network. Reading from the neural memory function amounts to pushing an input (the key vector) through the function to produce an output (the value vector). Writing to memory means changing the function; specifically, updating the parameters of the neural network to encode desired information. We leverage training and algorithmic techniques from metalearning to update the neural memory function in one shot. The proposed memory-augmented model achieves strong performance on a variety of learning problems, from supervised question answering to reinforcement learning.

研究の動機と目的

• 系列モデルにおける固定または遅い学習によるメモリ機構の限界を克服し、新しいタスクに迅速に適応できるようにすること。
• 微分可能で関数ベースのメモリシステムを統合することで、再帰ネットワークの一般化性能と少数ショット学習を向上させること。
• メタラーニング技術を活用して、メモリ関数のパラメータを1ショットで更新可能にする仕組みを提供し、適応性を高めること。
• 教師あり学習および強化学習を含む多様な学習タスクにおいて、メモリ拡張型モデルの有効性を実証すること。

提案手法

• メモリは、キーのベクトルを値のベクトルにマップする深層ニューラルネットワークとしてモデル化され、微分可能な読み取り操作が可能になる。
• メモリへの書き込みは、新しい情報をエンコードするためにニューラルネットワークのパラメータを更新することで実現され、メモリを学習可能な関数として扱う。
• メタラーニング技術を用いて、メモリ関数を事前学習し、新しいタスクに1ステップの更新で適応可能にする。
• 外部メモリ関数を再帰的計算に統合したメモリ拡張型RNNアーキテクチャを採用する。
• 推論時に少数ショット適応を活用しながら、タスク間で一般化できるようにメモリ関数を最適化する訓練プロセスを採用する。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングを用いて、ニューラルネットワークベースのメモリ機構を新しいタスクに迅速に適応させることは可能か？
• RQ2 微分可能で関数ベースのメモリは、系列モデルタスクにおけるパフォーマンスをどのように向上させるか？
• RQ3 メモリ関数の1ショットパラメータ更新は、少数ショット学習のシナリオにおいて一般化性能をどの程度向上させるか？
• RQ4 メタラーニングされたメモリ機構は、多様な学習タスクにおいて従来のメモリ拡張型ネットワークを上回る性能を示すか？

主な発見

• 本モデルは、高速かつ1ショットのメモリ適応を活用することで、教師あり質問応答タスクで優れたパフォーマンスを達成する。
• メタラーニングされたメモリ機構により、強化学習環境における効果的な少数ショット学習が可能になる。
• メタラーニングされた関数ベースメモリを備えたメモリ拡張型RNNは、迅速な適応のおかげで多様なタスクに良好に一般化する。
• 本手法は、メモリを微分可能で学習可能な関数として扱い、メタラーニングによる効率的更新が可能であることを実証した。