[論文レビュー] LAMOL: LAnguage MOdeling for Lifelong Language Learning

Fan-Keng Sun, Cheng-Hao Ho+1 more|arXiv (Cornell University)|Sep 7, 2019

Multimodal Machine Learning Applications参考文献 32被引用数 83

ひとこと要約

LAMOL は、単一の言語モデルを訓練してNLPタスクを実行し、過去のタスクから疑似サンプルを生成することで生涯学習を実現し、追加のメモリなしで忘却をマルチタスクの上限にほぼ近づける（2-3%以内）.

ABSTRACT

Most research on lifelong learning applies to images or games, but not language. We present LAMOL, a simple yet effective method for lifelong language learning (LLL) based on language modeling. LAMOL replays pseudo-samples of previous tasks while requiring no extra memory or model capacity. Specifically, LAMOL is a language model that simultaneously learns to solve the tasks and generate training samples. When the model is trained for a new task, it generates pseudo-samples of previous tasks for training alongside data for the new task. The results show that LAMOL prevents catastrophic forgetting without any sign of intransigence and can perform five very different language tasks sequentially with only one model. Overall, LAMOL outperforms previous methods by a considerable margin and is only 2-3% worse than multitasking, which is usually considered the LLL upper bound. The source code is available at https://github.com/jojotenya/LAMOL.

研究の動機と目的

• 同じタスク領域を超えたNLPタスクの生涯学習を促進する動機づけ
• 逐次的なNLPタスクにおける壊滅的忘却を防ぐ、メモリ効率の高い手法を提案する
• 単一のLMが複数のタスクを解決しデータを生成できることを実証する
• 多くのタスクが関与する場合に、タスク固有トークンが学習を安定化させることを示す
• 再現性とさらなる研究のためのオープンソースコードを提供する

提案手法

• 統一的な訓練を可能にするため、すべてのタスクを QA/LM フレンドリーな形式でフレーミングする。
• 単一のLMを用いてタスクを解決し、過去のタスクの疑似サンプルを生成する。
• 新しいタスクを訓練する際、過去のタスクから top-k の疑似サンプルを生成し、それを新しいタスクのデータと混ぜる。
• QA形式と LM形式の両方の目的を結合損失 L = L_QA + lambda L_LM」で訓練する。
• オプションとして、タスク固有トークン（GEN を TASK に置換）を使用して、タスク間の疑似サンプル生成のバランスを取る。
• 安定性と忘却に及ぼすサンプリング比 gamma およびタスク固有トークンの使用の影響を調査する。

実験結果

リサーチクエスチョン

• RQ1 単一の言語モデルが、過去のデータにアクセスせず、またモデル容量を増やさずに、多様なNLPタスクの連続を学習できるか？
• RQ2 過去のタスクからの疑似サンプル生成は、生涯言語学習における壊滅的忘却を緩和するか？
• RQ3 疑似サンプル量（gamma）とタスク固有トークンは、タスク間の性能と安定性にどう影響するか？
• RQ4 LAMOLは、NLPタスクのスペクトラム全体でマルチタスク性能にどれだけ近づくことができるか？

主な発見

• LAMOL は、複数のNLPタスクにおいてベースラインおよび多くの事前継続学習手法を上回る。
• 5つのdecaNLPタスクにまたがって、LAMOLはマルチタスクセンシングの上限に2–3%以内で近づく。
• gamma > 0 およびタスク固有トークンの使用は、一般に学習を安定化させ、gamma = 0 と比較して忘却を減らす。
• 疑似サンプルを用いたLAMOLは、以前のタスクの知識を保持し、頑強さの兆候がほとんど見られない。
• 実データの代わりに疑似サンプルを用いることは実現可能だが、サンプル効率の良い領域では実データの方が性能が高い。
• 本手法は基礎となるLMを超える追加のメモリやモデル容量を必要とせず、要望に応じて新しいタスクを追加できる。