[论文解读] Multi-Criteria Chinese Word Segmentation with Transformer

Xipeng Qiu, Hengzhi Pei+2 more|arXiv (Cornell University)|Jun 28, 2019

Natural Language Processing Techniques参考文献 20被引用 10

一句话总结

本文提出一种基于统一Transformer架构的多标准中文分词（CWS）模型，该模型利用基于标准指示符的共享全连接自注意力机制。通过在八个具有异质分词标准的多样化CWS数据集上联合学习，该模型在所有语料上均显著优于单标准方法。

ABSTRACT

Different linguistic perspectives cause many diverse segmentation criteria for Chinese word segmentation (CWS). Most existing methods focus on improving the performance of single-criterion CWS. However, it is interesting to exploit these heterogeneous segmentation criteria and mine their common underlying knowledge. In this paper, we propose a concise and effective model for multi-criteria CWS, which utilizes a shared fully-connected self-attention model to segment the sentence according to a criterion indicator. Experiments on eight datasets with heterogeneous segmentation criteria show that the performance of each corpus obtains a significant improvement, compared to single-criterion learning.

研究动机与目标

• 解决不同语言视角下中文分词（CWS）分词标准不一致的挑战。
• 探索异质CWS标准之间的共享潜在知识，以提升整体分词性能。
• 开发一种单一统一模型，能够同时有效处理多种分词标准。
• 通过多标准学习超越现有单标准CWS方法的性能。

提出的方法

• 采用共享全连接自注意力机制处理输入句子，通过标准指示符标记指示分词标准。
• 在多个CWS数据集上端到端训练模型，每个数据集反映一种不同的语言分词标准。
• 标准指示符引导注意力机制根据特定语言规则或标准自适应调整分词输出。
• 该架构实现了不同标准之间的参数共享，促进知识迁移和模型效率。
• 训练过程中联合优化所有分词标准，增强泛化能力和性能。

实验结果

研究问题

• RQ1 统一深度学习模型能否有效处理多种异质中文分词标准？
• RQ2 与单标准训练相比，联合学习多种CWS标准能带来多大的性能提升？
• RQ3 跨标准的共享注意力是否能带来更好的泛化能力和更高的分词准确率？
• RQ4 单一模型能否在不重新训练的情况下在多种语言标准下实现优异性能？

主要发现

• 与单标准学习基线相比，所提模型在全部八个CWS数据集上均实现了显著的性能提升。
• 在多种标准下联合学习带来了更好的泛化能力，并提升了在多样化语言标准下的分词准确率。
• 通过使用标准指示符与共享自注意力机制，可在单一架构内有效适应不同的分词规则。
• 该模型表现出强大的可迁移性，在异质CWS语料中保持了高水平的性能。