[論文レビュー] Meta-Learning with Sparse Experience Replay for Lifelong Language Learning

Nithin Holla, Pushkar Mishra+2 more|arXiv (Cornell University)|Sep 10, 2020

Domain Adaptation and Few-Shot Learning参考文献 58被引用数 15

ひとこと要約

本稿では、タスク識別子なし、1回のパスのみで学習する現実的で単一パスの設定において、災難的忘却を防止する、スパースな経験リプレイを組み込んだメタラーニングフレームワークを提案する。メタラーニングと軽量でランダムに記録されるエピソード記憶を統合することで、BERTを用いたテキスト分類および関係抽出ベンチマークにおいて最先端の性能を達成し、計算コストとメモリコストを低く抑えることができる。

ABSTRACT

Lifelong learning requires models that can continuously learn from sequential streams of data without suffering catastrophic forgetting due to shifts in data distributions. Deep learning models have thrived in the non-sequential learning paradigm; however, when used to learn a sequence of tasks, they fail to retain past knowledge and learn incrementally. We propose a novel approach to lifelong learning of language tasks based on meta-learning with sparse experience replay that directly optimizes to prevent forgetting. We show that under the realistic setting of performing a single pass on a stream of tasks and without any task identifiers, our method obtains state-of-the-art results on lifelong text classification and relation extraction. We analyze the effectiveness of our approach and further demonstrate its low computational and space complexity.

研究の動機と目的

• タスク識別子なし、複数回の学習パスなしの条件下で、継続的言語学習における災難的忘却を解消すること。
• BERTのような事前学習言語モデル向けに、記憶効率の高い継続的学習手法を開発すること。
• メタラーニングとスパースリプレイを用いて、逐次的なNLPタスク間での効果的な知識移行を可能にすること。
• 一般的な実験的欠陥を避けるために、現実的な継続的学習制約下で手法を評価すること。
• エピソード記憶を用いたメタラーニングとスパースリプレイが、従来のリプレイベースおよび正則化ベースの手法を上回ることを示すこと。

提案手法

• オンラインメタラーニング（OML）およびニューロモダレーター・メタラーニング（ANML）をNLPに拡張し、経験リプレイ用のエピソード記憶モジュールを追加する。
• 限られた数の過去の例を記録するスパースでランダムな書き込み機構を用い、メタ最適化中に定期的にリプレイを行う。
• 経験リプレイをメタラーニングにおけるクエリセットとして扱い、勾配の整合性を直接最適化することで、忘却の防止を直接的に行う。
• 共有出力ヘッドを採用し、データストリームを1回のパスで学習することで、現実世界の継続的学習を模擬する。
• 内側のループ更新を、BERTの上に配置された小さな学習可能な投影層（PLN）に限定することで、パラメータ更新と計算コストを最小限に抑える。
• 新規タスクでの学習とリプレイされた記憶例でのファインチューニングを交互に実行するメタ最適化手法を用い、学習の安定化を図る。

実験結果

リサーチクエスチョン

• RQ1 タスク識別子なしの継続的言語学習において、スパースな経験リプレイを用いたメタラーニングが災難的忘却を防止できるか？
• RQ2 経験リプレイの頻度とスパース性は、継続的NLPタスクにおけるモデル性能にどのように影響するか？
• RQ3 定期的なリプレイを伴うエピソード記憶メタラーニングは、標準的なリプレイベース手法に比べ、精度と効率の面で優れているか？
• RQ4 記憶容量が制限された状況下で、この手法はどのようにスケーリングするか？また、先行手法に比べて記憶効率が優れているか？
• RQ5 記憶選択に単純なランダム書き込み戦略を用いることで、より複雑なヒューリスティクスに比べて優れた性能が得られるか？

主な発見

• OML-ERは、現実的な継続的学習設定下で、継続的テキスト分類および関係抽出タスクにおいて最先端の性能を達成する。
• 1%の記憶容量ですら高い精度を維持でき、MbPA++が10%容量で3%低下するのに対し、顕著な記憶効率の優位性を示す。
• 記憶容量を減らしても性能が安定し、テキスト分類では1%容量でも有意に精度に低下がない（p=0.952）。
• 関係抽出では1%容量でわずかだが有意に精度が低下する（p=0.040）が、全体的な性能は依然として高い水準を維持する。
• メタ最適化ステップ約101回ごとにリプレイを行うエピソード記憶メタラーニングが、600ステップごとの標準リプレイより優れた性能を示す（p=0.001）ことから、メタ最適化タイミングの重要性が示される。
• 本手法は高速な学習と推論が可能であり、ほとんどの更新がBERTの上位にある1つの線形層に集中するため、計算オーバーヘッドを最小限に抑える。