[论文解读] IndoBERTweet: A Pretrained Language Model for Indonesian Twitter with Effective Domain-Specific Vocabulary Initialization

Fajri Koto, Jey Han Lau+1 more|arXiv (Cornell University)|Sep 10, 2021

Topic Modeling参考文献 27被引用 4

一句话总结

本文提出了 IndoBERTweet，这是首个针对印度尼西亚语推特的大型预训练语言模型，通过平均子词嵌入的方式在单语印度尼西亚语 BERT 模型基础上添加了领域特定词汇，实现了 5 倍于从零开始预训练的速度，并在七个基于推特的自然语言处理任务中超越了从零开始预训练和基于 word2vec 初始化的方法，证明了其在领域适应中的卓越效率与有效性。

ABSTRACT

We present IndoBERTweet, the first large-scale pretrained model for Indonesian Twitter that is trained by extending a monolingually-trained Indonesian BERT model with additive domain-specific vocabulary. We focus in particular on efficient model adaptation under vocabulary mismatch, and benchmark different ways of initializing the BERT embedding layer for new word types. We find that initializing with the average BERT subword embedding makes pretraining five times faster, and is more effective than proposed methods for vocabulary adaptation in terms of extrinsic evaluation over seven Twitter-based datasets.

研究动机与目标

• 开发一个高性能、大规模的、专为印度尼西亚社交媒体文本设计的预训练语言模型。
• 通过评估多种初始化策略，解决领域自适应预训练中的词汇不匹配问题。
• 在保持或提升模型性能的同时，降低领域适应的计算成本。
• 通过发布一个领域特定、最先进的模型，为印度尼西亚语推特 NLP 建立基准。

提出的方法

• 通过从一个包含 2600 万条印度尼西亚语推特的语料库中添加领域特定词汇标记，扩展了 IndoBERT，即一个单语印度尼西亚语 BERT 模型。
• 对推特数据集应用 WordPiece 分词，并构建了一个包含 31,984 种类型的领域特定词汇表。
• 通过在推特语料库上对基础 IndoBERT 模型进行微调 200,000 步，实现领域自适应预训练。
• 测试了四种词汇初始化策略：随机初始化、word2vec 投影，以及两种子词嵌入平均方法（均值和可学习版本）。
• 采用掩码语言建模目标，最大序列长度为 128 个标记，遵循原始 IndoBERT 的配置。
• 在七个基于推特的下游自然语言处理任务中评估性能，包括情感分析和命名实体识别。

实验结果

研究问题

• RQ1 使用基础模型中子词嵌入的平均值初始化领域特定词汇，是否能优于随机初始化或基于 word2vec 的初始化？
• RQ2 在使用不同词汇初始化方法时，领域自适应预训练的计算效率与从零开始预训练相比如何？
• RQ3 采用子词平均初始化的领域自适应方法，是否能超越在印度尼西亚语推特数据上从零开始预训练的模型？
• RQ4 词汇不匹配如何影响模型性能，子词平均在多大程度上能缓解此问题？

主要发现

• 与从零开始训练相比，子词嵌入平均方法将预训练时间减少了 80%，实现了五倍速提升。
• 平均而言，子词平均初始化方法在七个下游任务中的 F1 得分最高，优于随机初始化和基于 word2vec 的初始化。
• 使用平均子词嵌入初始化的模型与原始 IndoBERT 的性能差距仅为 -0.2% 绝对值，表明在未进行预训练的情况下性能下降极小。
• 在 200,000 步领域自适应预训练后，子词平均方法的表现甚至超过了经过 100 万步从零开始预训练的模型，证明了其更高的样本效率。
• 该方法表现出良好的泛化能力，IndoBERTweet 每个新标记的平均子词数为 2.6，而 BERTweet 为 3.4，表明其分词效率更高。
• 在英文迁移实验中，尽管仅使用了 1/10 的预训练数据，子词平均方法仍将 RoBERTa 与 BERTweet 之间的性能差距从 +3.4% 绝对值缩小至 +2.2% 绝对值。