[論文レビュー] Learning to Remember Rare Events

Łukasz Kaiser, Ofir Nachum+2 more|arXiv (Cornell University)|Mar 9, 2017

Domain Adaptation and Few-Shot Learning参考文献 20被引用数 237

ひとこと要約

学習可能な key-value memory からの高速 nearest-neighbor retrieval を介してライフロング one-shot 学習を実現するスケーラブルな lifelong memory module を導入。Omniglot で state-of-the-art を達成し、memory-based one-shot 能力で翻訳を改善。

ABSTRACT

Despite recent advances, memory-augmented deep neural networks are still limited when it comes to life-long and one-shot learning, especially in remembering rare events. We present a large-scale life-long memory module for use in deep learning. The module exploits fast nearest-neighbor algorithms for efficiency and thus scales to large memory sizes. Except for the nearest-neighbor query, the module is fully differentiable and trained end-to-end with no extra supervision. It operates in a life-long manner, i.e., without the need to reset it during training. Our memory module can be easily added to any part of a supervised neural network. To show its versatility we add it to a number of networks, from simple convolutional ones tested on image classification to deep sequence-to-sequence and recurrent-convolutional models. In all cases, the enhanced network gains the ability to remember and do life-long one-shot learning. Our module remembers training examples shown many thousands of steps in the past and it can successfully generalize from them. We set new state-of-the-art for one-shot learning on the Omniglot dataset and demonstrate, for the first time, life-long one-shot learning in recurrent neural networks on a large-scale machine translation task.

研究の動機と目的

• ライフロング設定における稀なイベントからの学習の課題に動機づけ、対処する。
• 訓練中に更新されるキーと値のペアを格納する微分可能なメモリモジュールを提案する。
• 推論時にメモリのキーの最近傍検索を用いることでワンショット学習を実現する。
• 本モジュールをCNN、Seq2Seq、および GNMT に組み込み、Omniglot、合成タスク、翻訳で評価して汎用性を示す。

提案手法

• Memory module stores keys K, values V, and age A as a memory M of size memory-size.
• Query q (normalized) retrieves k=256 nearest neighbors via cosine similarity, returning V of the top neighbor and a softmax-weighted similarity signal.
• Memory loss uses a margin-based triplet objective comparing positive and negative neighbors, encouraging proximity of q to the correct key and separation from incorrect ones.
• Memory updates: if the retrieved value matches target v, update the key by averaging with q; otherwise write (q,v) to the oldest memory slot (with small random perturbation).
• Efficient NN: exact computation via QK^T or approximate via locality-sensitive hashing (LSH) for large memory.
• Applied across architectures: simple CNN, GNMT-style seq2seq, and Extended Neural GPU to demonstrate broad compatibility.

実験結果

リサーチクエスチョン

• RQ1 微分可能でスケーラブルなメモリモジュールは、多様なニューラルアーキテクチャに跨るライフロングのワンショット学習を可能にできるか？
• RQ2 メモリを組み込むことで標準的なワンショットタスク（Omniglot）や合成のライフロングタスクの性能が向上し、大規模翻訳に寄与できるか？
• RQ3 稀なイベントや語が現れたとき、メモリは学習と一般化にどのような影響を与えるか？
• RQ4 翻訳や他のシーケンス課題におけるワンショット・ライフロング学習を評価する実用的な効果と指標は何か？

主な発見

モデル	5ウェイ 1ショット	5ウェイ 5ショット	20ウェイ 1ショット	20ウェイ 5ショット
Pixels Nearest Neighbor	41.7%	63.2%	26.7%	42.6%
MANN (no convolutions)	82.8%	94.9%	–	–
Convolutional Siamese Net	96.7%	98.4%	88.0%	96.5%
Matching Network	98.1%	98.9%	93.8%	98.5%
ConvNet with Memory Module	98.4%	99.6%	95.0%	98.6%

• メモリ拡張モデルは Omniglot で強力なワンショット学習を達成し、最先端の結果に近づくか、同等に達している。
• メモリを必要とするよう設計された合成タスクでは、メモリ拡張モデルがベースラインや標準の seq2seq モデルを著しく上回る。
• GNMT の English–German 翻訳では、メモリ拡張モデルはベースラインの BLEU と同等の性能を示し、文脈メモリを使用するとワンショットの利得を示す。テスト全体をメモリコンテキストとして公開すると、BLEU が大幅に改善（8 点以上）する。
• 定性的な例として、Dostoevsky のような稀な語をメモリモジュールが翻訳する一方、ベースラインモデルは翻訳が難しい。
• アーキテクチャとタスクを問わず、単一のメモリパラメータ集合（k=256, α=0.1）が良い結果をもたらし、汎用性を示す。