[論文レビュー] Episodic Memory in Lifelong Language Learning

Cyprien de Masson d’Autume, Sebastian Ruder+2 more|arXiv (Cornell University)|Jun 3, 2019

Topic Modeling被引用数 99

ひとこと要約

この論文は、スパースな経験リプレイと局所適応を備えたエピソディック・メモリモデルを提案し、データセット識別子がなくデータセットのストリームから生涯学習を可能にする。テキスト分類と質問応答の性能を向上させつつ、メモリ使用量を削減する。

ABSTRACT

We introduce a lifelong language learning setup where a model needs to learn from a stream of text examples without any dataset identifier. We propose an episodic memory model that performs sparse experience replay and local adaptation to mitigate catastrophic forgetting in this setup. Experiments on text classification and question answering demonstrate the complementary benefits of sparse experience replay and local adaptation to allow the model to continuously learn from new datasets. We also show that the space complexity of the episodic memory module can be reduced significantly (~50-90%) by randomly choosing which examples to store in memory with a minimal decrease in performance. We consider an episodic memory component as a crucial building block of general linguistic intelligence and see our model as a first step in that direction.

研究の動機と目的

• 複数のデータセットからデータが来る際の、明確なデータセット境界を伴わない継続的な生涯言語学習を動機づける。
• エンコーダ-デコーダ言語モデルにおいて、スパースな経験リプレイと局所適応を支えるエピソディックメモリモジュールを導入する。
• 記憶ベースのアプローチが壊滅的忘却を緩和し、データセット間で正の転移を可能にすることを示す。
• パフォーマンスを維持しつつ、ランダム書き込みによってメモリ空間を大幅に削減できることを示す。
• 分類とQAタスクにおいて、ベースラインおよび最新の継続学習手法と比較する。

提案手法

• Transformer/BERTベースの例エンコーダと別個の事前学習済みキー網を用いてメモリキーを生成する。
• 観測された各例を、メモリのキー網由来のキーと入力–ラベルペアを値とする2面性エピソディックメモリに格納する。
• 定期的にメモリをサンプリングして取得した例で基盤モデルを更新することで、スパースな経験リプレイを実行する。
• 推論時には、メモリから最近傍K個を取得して局所適応を行い、現在の予測を改善するためにパラメータを短時間更新する。
• 表現のドリフトを避けるためキー網を固定し、空間複雑さを制御するためにランダム選択によるメモリ書き込みを探索する。
• テキスト分類とQAにおいて、Enc-Dec、A-GEM、Replay、MbPAの派生形、およびマルチタスク学習(MTL)と比較する。

実験結果

リサーチクエスチョン

• RQ1 エピソディックメモリとスパースリプレイおよび局所適応を備えたシステムは、データセットアイデンティティなしのデータストリームからの生涯言語学習を支援できるか？
• RQ2 スパースな経験リプレイと局所適応の組み合わせは、テキスト分類と質問応答において単一コンポーネントのベースラインを上回るか？
• RQ3 メモリ使用量（スペース）は性能にどう影響するか、最小限の性能低下でメモリを削減できるか？
• RQ4 訓練中にキーを固定して使用することと、キーを更新することの忘却と転移に対する影響はどうか？

主な発見

• MbPA++（スパースリプレイを用いた記憶ベースのパラメータ適応）は、テキスト分類とQAの両方で継続学習ベースラインの中で最も強い性能を示す。
• 1%のリプレイ率によるスパース経験リプレイは、タスクを完全なマルチタスク学習に変換することなく、測定可能な利点を提供する。
• メモリ最近傍を用いた局所適応は、ランダム近傍選択より予測を大幅に向上させ、関連する例を取得する重要性を強調する。
• 固定キー網はドリフトを防ぎ、安定した記憶ベース適応には不可欠である。訓練中にキーを更新すると、固定キーMbPAバリアントと比較して性能が低下する。
• MbPA++ は MTL とのギャップを縮め、データセット間でテキスト分類に正の転移を示す（ただし QA はまだ単一データセットモデルに遅れている）。
• メモリ容量の実験は、フルメモリのわずか10%程度でも合理的な性能を示し、メモリ近傍数(K)を増やすと一般にリミット内で結果が改善する。）