[論文レビュー] Label Organized Memory Augmented Neural Network.

Shiv Shankar, Sunita Sarawagi|arXiv (Cornell University)|Jul 5, 2017

Domain Adaptation and Few-Shot Learning参考文献 29被引用数 4

ひとこと要約

本稿では、ラベルをキーとするメモリ組織と、非ゼロ損失を持つインスタンスにのみ書き込みを行うことで、メモリをラベルベースのメモリリプレースメントで管理する、ラベル組織化メモリネットワーク（LMNs）を提案する。LMNsは、少サンプル学習および言語モデリングにおいて、既存のMANNやファインチューニングベースラインを上回る精度と推論速度を達成し、オンライン適応時において顕著な性能向上を示す。

ABSTRACT

Augmenting a neural network with memory that can grow without growing the number of trained parameters is a recent powerful concept with many exciting applications. We propose a design of memory augmented neural networks (MANNs) called Labeled Memory Networks (LMNs) suited for tasks requiring online adaptation in classification models. LMNs organize the memory with classes as the primary key.The memory acts as a second boosted stage following a regular neural network thereby allowing the memory and the primary network to play complementary roles. Unlike existing MANNs that write to memory for every instance and use LRU based memory replacement, LMNs write only for instances with non-zero loss and use label-based memory replacement. We demonstrate significant accuracy gains on various tasks including word-modelling and few-shot learning. In this paper, we establish their potential in online adapting a batch trained neural network to domain-relevant labeled data at deployment time. We show that LMNs are better than other MANNs designed for meta-learning. We also found them to be more accurate and faster than state-of-the-art methods of retuning model parameters for adapting to domain-specific labeled data.

研究の動機と目的

• 再訓練なしにパラメータを再学習せずに、低データまたはドメインシフト状況におけるニューラルネットワークのオンライン適応の課題に対処すること。
• クラスラベルを主キーとして用いることで、メモリ増強ニューラルネットワークの効率性と精度を向上させること。
• すべての入力に対してではなく、非ゼロ損失を持つインスタンスにのみ書き込みを行うことで、メモリの書き込みオーバーヘッドを低減すること。
• LRUではなくラベル頻度に基づくメモリリプレースメント戦略を設計し、ドメイン固有の知識の関連性と保持性を向上させること。
• ファインチューニングを伴わずに、バッチ学習済みモデルをドメイン関連のラベル付きデータで効果的に運用時適応可能にする仕組みを提供すること。

提案手法

• LMNsは、クラスラベルで組織されたメモリモジュールを事前学習済みニューラルネットワークに追加し、各メモリキーがクラスに対応する。
• メモリは一次ネットワークの予測を補正する第二段階の分類器として機能し、両者の補完的役割を果たす。
• 非ゼロ損失を持つインスタンスにのみメモリへの書き込みが行われるため、不要な更新が削減され、メモリの効率が向上する。
• ラベル頻度に基づいてメモリリプレースメントが実行され、低頻度または高損失クラスの保持が優先される。
• 推論時にメモリの検索と予測を統合することで、運用時における新しいドメイン固有データへの動的適応が可能になる。
• メモリアクセスと更新メカニズムが微分可能であるため、一次ネットワークとメモリモジュールのエンドツーエンド学習が可能である。

実験結果

リサーチクエスチョン

• RQ1 クラスラベルでメモリを組織することで、オンライン適応タスクにおけるメモリ増強ニューラルネットワークの効率性と精度が向上するか？
• RQ2 非ゼロ損失を持つインスタンスにのみメモリに書き込むことで、すべての入力に対して書き込む場合と比較して、メモリ利用効率と性能が向上するか？
• RQ3 ラベルベースのメモリリプレースメントは、LRUベースのリプレースメントを上回り、関連性の高いドメイン固有の知識をより効果的に保持できるか？
• RQ4 少サンプル学習および言語モデリングにおいて、LMNはメタラーニングベースのMANNやパrameterファインチューニングと比較してどうなるか？
• RQ5 新しいドメインに適応する際、LMNは最先端のファインチューニング手法よりも高速な推論と高い精度を達成できるか？

主な発見

• LMNsは、標準的なMANNと比較して、言語モデリングおよび少サンプル学習ベンチマークで顕著な精度向上を達成する。
• オンライン適応時における精度と推論速度の両面で、メタラーニングを目的とした既存のMANNを上回る。
• ドメイン固有のラベル付きデータへの適応において、最先端のパrameterファインチューニング手法よりも優れた性能を示す。
• 非ゼロ損失を持つインスタンスにのみ書き込みを行うことで、LMNsはメモリの書き込みオーバーヘッドを低減し、学習効率を向上させる。
• ラベルベースのメモリリプレースメントにより、特に低データ環境下で、関連するクラス固有の知識の保持がより良好になる。
• 再学習を伴わず、バッチ学習済みモデルの運用時適応を効果的に行える。高い精度と低遅延を維持する。