[论文解读] DiaNet: BERT and Hierarchical Attention Multi-Task Learning of Fine-Grained Dialect

Muhammad Abdul-Mageed, Chiyu Zhang+3 more|arXiv (Cornell University)|Oct 31, 2019

Natural Language Processing Techniques参考文献 37被引用 4

一句话总结

该论文提出 DiaNet，一种结合 BERT 的分层注意力多任务学习模型，用于跨 21 个阿拉伯国家的细粒度阿拉伯语方言识别，包括城市级和州级微方言。基于约 60 亿条推文的大规模 Twitter 数据集，该方法在外部数据上实现了 85.46% 的 F1 分数，并仅使用每位用户 100 条推文即实现了强大的用户级方言检测性能。

ABSTRACT

Prediction of language varieties and dialects is an important language processing task, with a wide range of applications. For Arabic, the native tongue of ~ 300 million people, most varieties remain unsupported. To ease this bottleneck, we present a very large scale dataset covering 319 cities from all 21 Arab countries. We introduce a hierarchical attention multi-task learning (HA-MTL) approach for dialect identification exploiting our data at the city, state, and country levels. We also evaluate use of BERT on the three tasks, comparing it to the MTL approach. We benchmark and release our data and models.

研究动机与目标

• 为解决自然语言处理中缺乏大规模、细粒度阿拉伯语方言数据集的问题，尤其是在城市和州层面的不足。
• 开发一种多任务学习框架，联合预测分层的方言层级：城市、州和国家。
• 评估 BERT 在低资源、细粒度方言分类任务中的有效性。
• 基准测试并发布一个大规模、自动与人工标注结合的阿拉伯语方言数据集，覆盖 319 个城市和全部 21 个阿拉伯国家。

提出的方法

• 作者利用用户资料中的地理定位元数据，从阿拉伯世界约 270 万名 Twitter 用户中收集了约 60 亿条推文。
• 他们使用 Nominatim 地理编码器自动为用户分配城市和国家标签，从而构建大规模弱监督数据集。
• 提出一种新颖的分层注意力多任务学习（HA-MTL）架构，在城市、州和国家分类三个任务中共享 BiGRU 编码器，并在每一层级应用多头注意力机制。
• 模型在所有三个层级上联合监督训练，实现粗粒度与细粒度方言预测之间的知识迁移。
• 对 BERT 进行微调以执行相同任务，用于与 HA-MTL 模型进行性能对比，两者均在零样本和少样本设置下进行评估。
• 对约 200 万条来自约 5,000 名用户的推文进行人工验证，以确保数据质量和方言标注的准确性。

实验结果

研究问题

• RQ1 基于位置的地理编码能否作为低资源、细粒度方言分类任务中方言标注的有效替代方法？
• RQ2 分层注意力多任务学习在捕捉阿拉伯语方言中城市、州和国家层级的分层语言变异方面有多有效？
• RQ3 在标注数据有限的情况下，BERT 是否优于传统序列模型用于细粒度方言识别任务？
• RQ4 在每位用户仅提供 100–500 条推文的情况下，基于推文级别标签训练的模型在用户级别方言检测中的泛化能力如何？

主要发现

• HA-MTL 模型在外部测试数据上的 F1 得分为 85.464%，显著优于先前工作，包括 SHAMI 系统所达到的 71.000% F1。
• 在每位用户仅使用 100 条推文时，最佳 BERT 模型在用户级方言检测中的准确率达到 65.171%，在使用 500 条推文时提升至 66.787%。
• 该模型保持了高覆盖率，因为 233,105 名自动标注用户的 94.85% 至少拥有 100 条推文，支持实际部署。
• 所提出的约 60 亿条推文和约 200 万条人工标注推文的数据集是迄今为止最大且最细粒度的阿拉伯语方言数据集，覆盖 21 个国家的 319 个城市。
• 在 HA-MTL 框架上微调的 BERT 在多个外部基准测试中均取得最先进结果，证明其在低资源方言 NLP 中的有效性。
• 分层多任务结构实现了知识迁移，通过利用更高层级的州和国家任务监督，提升了低资源城市级分类的性能。