[論文レビュー] One-shot Learning with Memory-Augmented Neural Networks

Adam Santoro, Sergey Bartunov+3 more|arXiv (Cornell University)|May 19, 2016

Domain Adaptation and Few-Shot Learning参考文献 17被引用数 298

ひとこと要約

この論文は、メモリ拡張ニューラルネットワーク（MANNs）が非常に少数の例から学習し、外部メモリを介して急速に適応できることを示し、ワンショット分類と回帰を可能にする。内容ベースの検索に焦点を当てたメモリアクセスメカニズムと学習ゲートに基づく最終最近使用（LRU）メモリ書き込み機構を導入する。

ABSTRACT

Despite recent breakthroughs in the applications of deep neural networks, one setting that presents a persistent challenge is that of "one-shot learning." Traditional gradient-based networks require a lot of data to learn, often through extensive iterative training. When new data is encountered, the models must inefficiently relearn their parameters to adequately incorporate the new information without catastrophic interference. Architectures with augmented memory capacities, such as Neural Turing Machines (NTMs), offer the ability to quickly encode and retrieve new information, and hence can potentially obviate the downsides of conventional models. Here, we demonstrate the ability of a memory-augmented neural network to rapidly assimilate new data, and leverage this data to make accurate predictions after only a few samples. We also introduce a new method for accessing an external memory that focuses on memory content, unlike previous methods that additionally use memory location-based focusing mechanisms.

研究の動機と目的

• メモリ拡張ニューラルネットワークがごく少数のサンプルから新しいデータを急速に同化できることを示す。
• 場所ベースのアドレッシングよりも内容ベースの検索を重視するメモリアクセスメカニズムを紹介する。
• Omniglot分類とGaussian processベースの回帰タスクにおけるメタ学習能力を評価する。
• 低データ域における標準RNN、LSTM、k近傍法とMANNの性能を比較する。

提案手法

• ニューラル・ツーリング機械（NTM）風の外部メモリを用い、読み書きヘッドをニューラルコントローラが制御する。
• 学習ゲートに基づき、最も使用されていないまたは最も最近使用されたメモリスロットへの書き込みを優先する Least Recently Used Access (LRUA) メモリライタを導入する。
• 予測のための関連バインディングを取り出すため、コサイン類似度でメモリをアドレスする。
• メタ学習のエピソードとしてタスクを構成し、ラベルを時間的にずらして提供し、メモリベースの結合を要求する。
• エピソードの分布全体で期待損失を最小化するよう、勾配降下法でエンドツーエンドを訓練する。
• Omniglotで分類を、ガウス過程サンプリング関数で回帰を評価する。）

実験結果

リサーチクエスチョン

• RQ1 1回の提示後に、メモリ拡張ニューラルネットワークが新しいデータ表現とラベルを急速に結びつけられるか？
• RQ2 LRUAライターを用いた内容ベースのメモリアドレッシングは、NTMにおける場所ベースアドレッシングよりワンショット学習を改善するか？
• RQ3 希薄なデータでの分類と回帰におけるメモリ拡張ネットのメタ学習は、ベースラインと比較してどうか？
• RQ4 エピソード間のメモリ干渉がワンショット学習性能に与える影響は何か？

主な発見

インスタンス（正答率）	モデル	1回目	2回目	3回目	4回目	5回目	10回目
34.5	Human	34.5	57.3	70.1	71.8	81.4	92.4
24.4	Feedforward	24.4	19.6	21.1	19.9	22.8	19.5
24.4	LSTM	24.4	49.5	55.3	61.0	63.6	62.5
36.4	MANN	36.4	82.8	91.0	92.6	94.9	98.1

• Omniglotでは、MANNは初回のエピソードで82.8%、10回提示後には最大98.1%を達成。5クラスのエピソードでラベルはワンホット。
• 5文字の文字列ラベルの場合、初回の正確率は0%だが、2回目～6回目のインスタンスで69.5–93.1%に達し、さまざまな設定で迅速なワンショット学習を示す。
• MANNは、複数の設定にわたり、Omniglotのワンショット分類でフィードフォワード網、LSTM、kNNのベースラインを上回る。
• エピソード間でメモリを消去しない場合のメモリ干渉が性能を低下させ、タスク間の汚染を防ぐための制御されたメモリ管理の必要性を示している。
• カリキュラム学習は、エピソードごとのクラス数を段階的に増やしつつ高い性能を維持し、MANNフレームワーク下でのスケーラブルなワンショット学習能力を示す。
• ガウス過程から得られる関数の回帰では、MANNの予測は基礎となる関数に追従し、メモリ内により多くのサンプルを格納するほど改善し、遠い入力ほど不確実性が増加する。