[论文解读] Cross-lingual Transfer Learning for COVID-19 Outbreak Alignment

Sharon Levy, William Yang Wang|arXiv (Cornell University)|Jun 5, 2020

Topic Modeling参考文献 14被引用 4

一句话总结

本文提出使用多语言 BERT 和推文特征进行跨语言迁移学习，以对齐不同国家的社交媒体活动与新冠疫情爆发趋势。通过在意大利推文数据上进行训练，该模型在预测其他国家确诊病例数时，相关系数最高可达 0.85，表明社交媒体中的语言和语义模式在大流行期间可在国家间泛化。

ABSTRACT

The spread of COVID-19 has become a significant and troubling aspect of society in 2020. With millions of cases reported across countries, new outbreaks have occurred and followed patterns of previously affected areas. Many disease detection models do not incorporate the wealth of social media data that can be utilized for modeling and predicting its spread. In this case, it is useful to ask, can we utilize this knowledge in one country to model the outbreak in another? To answer this, we propose the task of cross-lingual transfer learning for epidemiological alignment. Utilizing both macro and micro text features, we train on Italy's early COVID-19 outbreak through Twitter and transfer to several other countries. Our experiments show strong results with up to 0.85 Spearman correlation in cross-country predictions.

研究动机与目标

• 探究一个国家的社交媒体模式是否可通过跨语言迁移学习预测另一个国家的疫情爆发趋势。
• 评估多语言句子嵌入在跨语言和国家对齐流行病学趋势方面的有效性。
• 确定宏观层面（如推文频率）和微观层面（如语义嵌入）特征是否能协同提升跨国疫情预测的准确性。
• 评估在意大利早期疫情数据上训练的模型，是否能泛化到疫情爆发较晚的国家以预测其趋势。
• 探讨训练数据的时间节点和样本量对跨语言预测性能的影响。

提出的方法

• 本研究使用多语言 BERT（mBERT）模型，从意大利、泰语、日语、土耳其语和印尼语的推文中生成跨语言句子嵌入。
• 将宏观层面特征（每日推文频率）与微观层面特征（语义嵌入）结合，以表征社交媒体活动。
• 使用线性回归模型在意大利早期疫情数据（2020年2月至3月）上进行训练，以预测确诊病例总数和每日新增病例数。
• 将训练好的模型直接迁移至其他国家，仅使用相同的模型权重，而无需在目标国家的数据上进行微调。
• 通过预测值与实际病例数之间的斯皮尔曼等级相关系数，评估模型在多种时间设置和国家下的表现。
• 采用五种时间设置：仅使用2月数据训练、2月至3月、2月至4月、仅使用3月数据，以及2月至4月（上限设置），以评估在不同数据可获得性条件下的泛化能力。

实验结果

研究问题

• RQ1 是否可以利用一个国家（特别是推特）的社交媒体活动，通过跨语言迁移学习预测另一个国家的新冠疫情传播轨迹？
• RQ2 mBERT生成的多语言句子嵌入在多大程度上能将社交媒体内容与不同语言和国家的流行病学病例数对齐？
• RQ3 将宏观层面（频率）和微观层面（语义）的推文特征结合，是否能比单独使用任一特征更有效地提升跨语言疫情预测性能？
• RQ4 训练数据的时间节点（如疫情峰值前 vs. 峰值后）如何影响模型在其他国家的泛化性能？
• RQ5 在意大利早期疫情数据上训练的模型，是否能泛化到疫情曲线不同的国家，例如2020年4月仍处于上升阶段的印度尼西亚？

主要发现

• 当在意大利数据上进行训练并在泰国进行测试时，模型与确诊病例总数的斯皮尔曼相关系数最高达到 0.859，表明其具备强大的跨语言预测能力。
• 在新增确诊病例方面，当在2月至4月数据上进行训练时，印度尼西亚的最高相关系数达到 0.742，显示出与疫情后期趋势的强一致性。
• 在2月和3月数据上进行训练可获得最高相关系数（日本确诊病例总数最高达 0.856），表明线性增长阶段比峰值或下降阶段更容易预测。
• 印度尼西亚在新增确诊病例上的对齐效果优于其他国家，可能是因为2020年4月其病例数仍在持续增加，而该趋势在模型训练阶段尚未出现。
• 上限设置（2月至4月训练）在所有国家和病例类型中均达到最高相关系数，证实更广泛的疫情覆盖范围可提升模型泛化能力。
• 在时间设置 I 和 IV 中相关系数较低，表明在数据有限或非线性（如仅使用2月数据）条件下训练的模型，难以泛化到疫情动态不同的国家。