[论文解读] LAMOL: LAnguage MOdeling for Lifelong Language Learning
LAMOL 训练单一语言模型来同时执行 NLP 任务并从前面的任务中生成伪样本，使终身语言学习在不需要额外记忆的情况下成为可能，并将遗忘降至接近多任务的上限（在 2-3% 之内）。
Most research on lifelong learning applies to images or games, but not language. We present LAMOL, a simple yet effective method for lifelong language learning (LLL) based on language modeling. LAMOL replays pseudo-samples of previous tasks while requiring no extra memory or model capacity. Specifically, LAMOL is a language model that simultaneously learns to solve the tasks and generate training samples. When the model is trained for a new task, it generates pseudo-samples of previous tasks for training alongside data for the new task. The results show that LAMOL prevents catastrophic forgetting without any sign of intransigence and can perform five very different language tasks sequentially with only one model. Overall, LAMOL outperforms previous methods by a considerable margin and is only 2-3% worse than multitasking, which is usually considered the LLL upper bound. The source code is available at https://github.com/jojotenya/LAMOL.
研究动机与目标
- 激发在同一任务域之外的 NLP 任务的终身语言学习。
- 提出一种在连续 NLP 任务中防止灾难性遗忘的内存高效方法。
- 证明单个语言模型可以解决并为多任务生成数据。
- 展示在涉及大量任务时，任务特定令牌如何稳定学习。
- 提供开源代码以实现可重复性和进一步研究。
提出的方法
- 将所有任务框定在一个便于问答/语言模型格式的框架中，以实现统一训练。
- 使用单个语言模型来解决任务并生成过去任务的伪样本。
- 在对新任务进行训练时，从以前的任务中生成前-k 个伪样本，并将它们与新任务数据混合。
- 在联合损失 L = L_QA + lambda L_LM 下，对问答格式和语言模型格式的目标同时进行训练。
- 可选择使用任务特定令牌（GEN 替换为 TASK）以在各任务之间平衡伪样本生成。
- 研究采样比率 gamma 的影响以及任务特定令牌对稳定性和遗忘的作用。
实验结果
研究问题
- RQ1单个语言模型在不访问旧数据或不增加模型容量的情况下，是否能够学习一系列多样化的 NLP 任务？
- RQ2从过去任务生成伪样本是否可以缓解终身语言学习中的灾难性遗忘？
- RQ3伪样本数量（gamma）和任务特定令牌如何影响跨任务的性能与稳定性？
- RQ4LAMOL 在一系列 NLP 任务上能达到多任务性能的接近程度有多大？
主要发现
- LAMOL 在多个 NLP 任务中优于基线和许多现有的持续学习方法。
- 在五个 decaNLP 任务中，LAMOL 接近多任务上限，误差在 2–3% 内。
- 使用 gamma > 0 并采用任务特定令牌通常比 gamma = 0 更稳定、遗忘更少。
- LAMOL 使用伪样本能保留早期任务的知识，几乎没有顽固性迹象。
- 用伪样本替代真实的旧样本是可行的，但在样本效率良好的情形下，真实数据获得的性能更强。
- 该方法不需要额外的内存或模型容量，且可以按需添加新任务。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。