[论文解读] Char2Subword: Extending the Subword Embedding Space from Pre-trained Models Using Robust Character Compositionality.

Gustavo Aguilar, Bryan McCann+4 more|arXiv (Cornell University)|Oct 24, 2020

Natural Language Processing Techniques被引用 10

一句话总结

本文提出 Char2Subword，一种基于字符的子词模块，能够从字符中学习子词嵌入，从而在保持 BERT 的子词嵌入层可替换性的同时，增强对拼写变异和字符级扰动的鲁棒性。通过在预训练过程中集成该模块并冻结 Transformer 权重，该方法在语言代码切换的 LinCE 基准测试中优于多语言 BERT。

ABSTRACT

Byte-pair encoding (BPE) is a ubiquitous algorithm in the subword tokenization process of language models. BPE provides multiple benefits, such as handling the out-of-vocabulary problem and reducing vocabulary sparsity. However, this process is defined from the pre-training data statistics, making the tokenization on different domains susceptible to infrequent spelling sequences (e.g., misspellings as in social media or character-level adversarial attacks). On the other hand, pure character-level models, though robust to misspellings, often lead to unreasonably large sequence lengths and make it harder for the model to learn meaningful contiguous characters. To alleviate these challenges, we propose a character-based subword transformer module (char2subword) that learns the subword embedding table in pre-trained models like BERT. Our char2subword module builds representations from characters out of the subword vocabulary, and it can be used as a drop-in replacement of the subword embedding table. The module is robust to character-level alterations such as misspellings, word inflection, casing, and punctuation. We integrate it further with BERT through pre-training while keeping BERT transformer parameters fixed. We show our method's effectiveness by outperforming a vanilla multilingual BERT on the linguistic code-switching evaluation (LinCE) benchmark.

研究动机与目标

• 解决 BPE 分词在子词模型中对域外拼写变异和字符级扰动的脆弱性问题。
• 克服纯字符级模型存在的序列过长和连续字符学习能力差的局限。
• 开发一种即插即用的模块，利用字符级组合性提升子词嵌入的鲁棒性。
• 在预训练过程中保持 BERT 的 Transformer 参数固定，同时提升在代码切换和 OOV（未登录词）场景下的泛化能力。
• 在 LinCE 基准测试上展示性能提升，该基准是评估多语言代码切换鲁棒性的标准。

提出的方法

• Char2Subword 模块通过可学习的字符嵌入表，将单个字符的表征组合成子词嵌入。
• 通过可微分的组合机制（如注意力或池化）聚合字符级特征，构建子词表征。
• 将该模块作为 BERT 原始子词嵌入层的替代品插入，保持 Transformer 架构和注意力机制不变。
• 在预训练过程中，仅更新字符嵌入表和子词嵌入表，所有 Transformer 层均保持冻结，以确保参数效率。
• 在下游任务上使用标准微调协议进行微调，重点提升对拼写变异和代码切换的鲁棒性。
• 该方法实现了端到端的子词表征学习，对大小写、标点符号以及轻微拼写错误具有不变性。

实验结果

研究问题

• RQ1 基于字符的子词模块是否能提升子词分词对拼写变异和字符级扰动的鲁棒性？
• RQ2 在代码切换基准测试中，增强 Char2Subword 的 BERT 模型相较于原始多语言 BERT 表现如何？
• RQ3 在不修改 Transformer 架构的前提下，字符级组合机制在多大程度上能改善子词表征学习？
• RQ4 在预训练过程中保持 Transformer 权重冻结，是否能保持或增强模型在低资源或域外输入上的泛化能力？

主要发现

• Char2Subword 模块显著提升了对拼写变异（包括拼写错误、大小写变化和标点符号更改）的鲁棒性。
• 该模型在 LinCE 基准测试中优于原始多语言 BERT，展现出在语言代码切换场景下的优越性能。
• 将 Char2Subword 作为子词嵌入层的即插即用替代品，可在不微调 Transformer 层的情况下提升下游任务性能。
• 通过在预训练过程中保持所有 Transformer 参数冻结，该方法实现了高效率，优化集中于字符嵌入表和子词嵌入表。