[论文解读] idT5: Indonesian Version of Multilingual T5 Transformer

Mukhlish Fuadi, Adhi Dharma Wibawa+1 more|arXiv (Cornell University)|Feb 2, 2023

Edcuational Technology Systems被引用 5

一句话总结

本文提出 idT5，一个基于多语言 mT5 架构微调而成的更小、单语的 T5 模型，专为印度尼西亚语设计。通过将 mT5 模型蒸馏为语言特定版本，idT5 在情感分析任务上达到 77.18% 的准确率，比 mT5 高出 8%，同时模型大小减少高达 58%，推理速度更快，内存占用更低。

ABSTRACT

Indonesian language is spoken by almost 200 million people and is the 10th most spoken language in the world, but it is under-represented in NLP (Natural Language Processing) research. A sparsity of language resources has hampered previous work on Indonesian. The Transformer is a new architecture rapidly becoming dominant for NLP, surpassing alternatives like convolutional and recurrent neural networks. T5 (Text-to-Text Transfer Transformer) is a Transformer model that converts all text-based language problems to text-to-text format for English. The multilingual variant is mT5 (multilingual T5) which has shown promising results on many NLP tasks across languages. However, the size of this multilingual model is a drawback for its application in real production applications, which sometimes require only one language. In this study, the mT5 model was adapted for only one language, Indonesian, resulting in a pre-trained T5 model that was specific only for Indonesian with a smaller size. For performance comparison, we fine-tuned this model and the mT5 model to the Sentiment Analysis (SA), Question Generation (QG), and Question Answering (QA) tasks with the exact mechanism and dataset. Fine-tuned model based on our model achieved 77.18% accuracy on SA, 8% higher than the mT5-based model, and obtained nearly the same score as the mT5-based model on QG and QA. The results confirm that it is possible to produce a smaller pre-trained model that maintains comparable yields while reducing the model size by up to 58%. In addition, the resulting model requires less memory, loads faster, and inference times faster.

研究动机与目标

• 为解决由于语言资源有限导致印度尼西亚语在自然语言处理研究中代表性不足的问题。
• 通过创建专为印度尼西亚语设计的单语变体，降低多语言模型的计算成本。
• 通过微调专用 T5 模型，提升在印度尼西亚语自然语言处理任务上的性能。
• 评估更小、语言特定的模型是否能在下游任务上超越或匹配更大规模多语言模型的性能。
• 证明通过语言特定微调实现的模型压缩可在不损失性能的前提下，实现更快的推理速度和更低的内存使用。

提出的方法

• 在大规模印度尼西亚语文本语料库上微调 mT5 模型，以创建单语 T5 变体。
• 仅使用印度尼西亚语文本进行训练，以优化该语言的句法和语义特征。
• 通过移除多语言能力来减小模型大小，从而获得更高效的架构。
• 对 idT5 和 mT5 使用相同的微调过程和数据集，以在三个任务上实现公平比较。
• 使用标准自然语言处理基准：情感分析、问题生成和问答系统。
• 通过评估推理速度、内存使用和准确率，比较效率与性能。

实验结果

研究问题

• RQ1 是否能在印度尼西亚语上专门训练的单语 T5 模型，优于多语言 mT5 在印度尼西亚语自然语言处理任务上的表现？
• RQ2 在印度尼西亚语自然语言处理任务中，模型大小可减少到何种程度而不会造成显著性能下降？
• RQ3 语言特定模型的推理速度和内存使用与多语言基线相比如何？
• RQ4 将 mT5 微调为单语印度尼西亚语模型，是否能提升其在情感分析任务上的性能，相比多语言版本？
• RQ5 更小、专门化的模型是否能在印度尼西亚语的问题生成和问答任务上达到与 mT5 相当的性能？

主要发现

• idT5 在情感分析任务上达到 77.18% 的准确率，比基于 mT5 的模型高出 8 个百分点。
• 在问题生成和问答任务上，idT5 的性能几乎与 mT5 保持一致。
• 与原始 mT5 架构相比，idT5 将模型大小减少了高达 58%。
• 由于模型更小，idT5 所需内存更少，加载速度更快。
• 与 mT5 相比，idT5 的推理时间更短，证实了其效率的提升。
• 结果表明，对多语言模型进行语言特定微调，可为像印度尼西亚语这样的低资源语言带来更好的性能和更高的效率。