[论文解读] Cross-lingual Lifelong Learning

Meryem M’hamdi, Xiang Ren+1 more|arXiv (Cornell University)|May 23, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出了跨语言持续学习（CCL），一种新颖的评估范式，用于顺序多语言适应场景，其中模型按顺序从多种语言的数据流中学习。该研究在六种语言的任务导向对话基准上对多种持续学习方法（模型扩展、正则化、记忆回放和蒸馏）进行基准测试，表明多跳分析对可靠评估至关重要，并且模型扩展与记忆回放方法在跨语言的知识保持和泛化方面表现更优。

ABSTRACT

The longstanding goal of multi-lingual learning has been to develop a universal cross-lingual model that can withstand the changes in multi-lingual data distributions. There has been a large amount of work to adapt such multi-lingual models to unseen target languages. However, the majority of work in this direction focuses on the standard one-hop transfer learning pipeline from source to target languages, whereas in realistic scenarios, new languages can be incorporated at any time in a sequential manner. In this paper, we present a principled Cross-lingual Continual Learning (CCL) evaluation paradigm, where we analyze different categories of approaches used to continually adapt to emerging data from different languages. We provide insights into what makes multilingual sequential learning particularly challenging. To surmount such challenges, we benchmark a representative set of cross-lingual continual learning algorithms and analyze their knowledge preservation, accumulation, and generalization capabilities compared to baselines on carefully curated datastreams. The implications of this analysis include a recipe for how to measure and balance different cross-lingual continual learning desiderata, which go beyond conventional transfer learning.

研究动机与目标

• 弥合多语言自然语言处理中持续学习的空白，其中模型必须按顺序适应新语言，而非一次性迁移。
• 克服传统迁移学习的局限性，后者无法有效建模跨多种语言的动态、非平稳数据分布。
• 构建一个全面的评估框架，用于衡量多语言持续学习中的知识保持、知识累积、泛化能力以及最终模型效用。
• 系统性地在多个语言跳变中基准化持续学习算法，以隔离其在真实世界顺序学习场景中的实际效果。
• 提出一种超越标准迁移学习的跨语言持续学习关键要素平衡方案。

提出的方法

• 设计一种CCL评估范式，模拟从高资源语言到低资源语言的非平稳数据流过渡。
• 使用六种语言的任务导向对话基准，评估多种语言排列下的持续学习算法。
• 应用四类持续学习技术：模型扩展（如基于适配器的方法）、正则化（如EWC）、记忆回放（如ER-6000）和知识蒸馏（如KD-Logit、KD-Rep）。
• 使用遗忘度（F）、迁移度（T）、最终性能（FP）以及跨语言零样本泛化能力作为性能度量指标。
• 通过自助采样和多随机种子的Tukey HSD统计显著性检验，验证结果的可靠性。
• 在不同数据设置下评估模型行为，以检验结论的稳健性与可靠性。

实验结果

研究问题

• RQ1 在模型性能与稳定性方面，多语言多跳持续学习与单跳迁移学习有何不同？
• RQ2 哪些持续学习技术在适应新语言的同时，最能保持对先前学习语言的知识？
• RQ3 在顺序训练过程中，不同持续学习方法在未见语言上的泛化能力如何？
• RQ4 数据流顺序与设置的变化在多语言持续学习中如何影响性能比较的可靠性？
• RQ5 在多语言持续学习中，知识保持、迁移能力与最终性能对整体模型效用的相对影响是什么？

主要发现

• 模型扩展与记忆回放（如ER-6000）在最小化遗忘与最大化迁移方面始终优于其他方法，其中ER-6000在意图分类任务上达到93.43%的最终准确率。
• 知识蒸馏与EWC表现中等，EWC达到91.86%的最终准确率，但遗忘度（1.35）高于ER-6000（0.69）。
• Lang-Spec Ada(F)与Lang-Spec Ada(T)分别表现出较高的迁移得分（3.54与5.52），表明具有强大的跨语言知识迁移能力，尽管存在遗忘的权衡。
• 统计显著性检验表明，模型扩展与记忆回放方法在各项指标中具有最高比例的显著差异（p < 0.05），尤其在遗忘与最终性能方面。
• 使用多随机种子的自助采样与单种子分析结果一致，验证了评估框架的稳健性。
• 本研究证实，多跳分析至关重要——传统单跳迁移学习无法捕捉顺序语言适应的完整动态，特别是在长期知识保留与泛化能力方面。