[论文解读] A Masked Segmental Language Model for Unsupervised Natural Language Segmentation

C. M. Downey, Fei Xia+2 more|arXiv (Cornell University)|Apr 16, 2021

Natural Language Processing Techniques被引用 6

一句话总结

本文提出了一种掩码片段语言模型（MSLM），这是一种基于Transformer的非循环架构，通过跨度掩码和双向注意力机制实现无监督的自然语言片段化。MSLM在中文分词质量上显著优于循环式SLM，并在英文上取得了具有竞争力的结果，证明了基于Transformer的建模在片段化任务中的有效性，尤其是在中文等具有庞大语义字符词汇量的语言中。

ABSTRACT

Segmentation remains an important preprocessing step both in languages where "words" or other important syntactic/semantic units (like morphemes) are not clearly delineated by white space, as well as when dealing with continuous speech data, where there is often no meaningful pause between words. Near-perfect supervised methods have been developed for use in resource-rich languages such as Chinese, but many of the world's languages are both morphologically complex, and have no large dataset of "gold" segmentations into meaningful units. To solve this problem, we propose a new type of Segmental Language Model (Sun and Deng, 2018; Kawakami et al., 2019; Wang et al., 2021) for use in both unsupervised and lightly supervised segmentation tasks. We introduce a Masked Segmental Language Model (MSLM) built on a span-masking transformer architecture, harnessing the power of a bi-directional masked modeling context and attention. In a series of experiments, our model consistently outperforms Recurrent SLMs on Chinese (PKU Corpus) in segmentation quality, and performs similarly to the Recurrent model on English (PTB). We conclude by discussing the different challenges posed in segmenting phonemic-type writing systems.

研究动机与目标

• 为解决中文或形态复杂的语言等缺乏清晰词边界语言中的无监督片段化挑战。
• 开发一种非循环的、基于Transformer的架构，利用双向上下文和跨度掩码以提升片段化和语言建模性能。
• 在中文和英文数据集上评估MSLM，比较其在无监督和轻度监督设置下与循环SLM基线模型的性能表现。
• 探讨Transformer在音素文字系统中的局限性，并评估位置编码增强是否能缩小性能差距。
• 为扩展MSLM至语音片段化、多样化的文字系统以及深层架构扩展奠定基础。

提出的方法

• MSLM在字符级输入上采用跨度掩码机制，随机掩码字符跨度，模型通过双向自注意力机制预测原始跨度。
• 模型基于带有学习位置嵌入的Transformer编码器架构构建，采用动态缩放以提升字符级建模中位置编码的鲁棒性。
• 通过在自回归解码过程中识别高概率的片段边界来推断片段化结果，基于模型预测的片段跨度。
• 模型通过在字符序列上使用掩码语言建模目标进行训练，损失在预测跨度上计算。
• 通过在微调阶段引入真实片段化数据，该方法支持无监督和轻度监督训练。
• 评估了n-gram词典约束和期望片段长度正则化等正则化技术，但初步测试中未在性能上优于基础MSLM。

实验结果

研究问题

• RQ1 非循环的、基于Transformer的架构是否能在无监督片段化任务中超越循环SLM？
• RQ2 与单向循环模型相比，MSLM的双向上下文如何影响片段化质量与语言建模性能？
• RQ3 为何MSLM在中文上的表现优于英文？文字系统的正字法结构（如语义文字 vs. 音素文字）起到了何种作用？
• RQ4 考虑到其在字符级建模中的优异表现，MSLM是否能有效应用于形态复杂的语言或语音数据？
• RQ5 n-gram词典或长度约束等正则化技术是否能提升MSLM的片段化质量，还是反而阻碍了泛化能力？

主要发现

• 在使用真实验证数据微调后，MSLM在中文分词质量上显著优于循环SLM基线模型；在无监督设置下，也取得了中等程度的性能优势。
• 在英文Penn Treebank数据集上，MSLM的分词质量与循环SLM相当，仅在语言建模方面，循环模型保有微弱优势。
• 在中文上，MSLM的语言建模性能（更低的bpc）优于循环SLM，表明其对长距离依赖关系的捕捉能力更强。
• MSLM与循环SLM在英文上的性能差距，归因于静态位置编码在建模音素正字法时的局限性，后者对词序和字符上下文高度敏感。
• 尽管测试了先前研究中的正则化技术，但未观察到性能提升，表明这些方法可能需要进一步的超参数调优才能有效。
• 结果表明，MSLM特别适用于中文等具有庞大语义字符词汇量的语言；若解决位置编码问题，其在音素系统中可能成为循环模型的有力竞争者。