[论文解读] A realistic and robust model for Chinese word segmentation

Chu‐Ren Huang, Ting‐Shuo Yo+2 more|arXiv (Cornell University)|May 21, 2019

Natural Language Processing Techniques参考文献 13被引用 3

一句话总结

本文提出了一种基于文本的词语边界判定（WBD）模型，用于中文分词，将分词问题视为在字符边界上的二分类问题。该模型仅使用1,000个向量进行训练，即可实现高F值，并在SigHAN Bakeoff 3数据集上实现了比以往工作更高的OOV召回率，证明了其在极小训练数据下的鲁棒性与适应性。

ABSTRACT

A realistic Chinese word segmentation tool must adapt to textual variations with minimal training input and yet robust enough to yield reliable segmentation result for all variants. Various lexicon-driven approaches to Chinese segmentation, e.g. [1,16], achieve high f-scores yet require massive training for any variation. Text-driven approach, e.g. [12], can be easily adapted for domain and genre changes yet has difficulty matching the high f-scores of the lexicon-driven approaches. In this paper, we refine and implement an innovative text-driven word boundary decision (WBD) segmentation model proposed in [15]. The WBD model treats word segmentation simply and efficiently as a binary decision on whether to realize the natural textual break between two adjacent characters as a word boundary. The WBD model allows simple and quick training data preparation converting characters as contextual vectors for learning the word boundary decision. Machine learning experiments with four different classifiers show that training with 1,000 vectors and 1 million vectors achieve comparable and reliable results. In addition, when applied to SigHAN Bakeoff 3 competition data, the WBD model produces OOV recall rates that are higher than all published results. Unlike all previous work, our OOV recall rate is comparable to our own F-score. Both experiments support the claim that the WBD model is a realistic model for Chinese word segmentation as it can be easily adapted for new variants with the robust result. In conclusion, we will discuss linguistic ramifications as well as future implications for the WBD approach.

研究动机与目标

• 开发一种现实可行且鲁棒的中文分词模型，能够以极少训练输入适应文本变化。
• 弥合基于词典的模型（准确率高但数据需求大）与基于文本的模型（适应性强但准确率较低）之间的差距。
• 实现在无需大量重新训练或词典更新的前提下，跨多样化领域与文体的有效分词。
• 在保持强整体F值的同时，实现对未登录词（OOV）的高性能表现。
• 探讨将分词视为字符边界上二元决策的语言学与计算学意义。

提出的方法

• WBD模型将中文分词问题转化为二分类任务：预测两个相邻字符之间是否存在边界。
• 每个字符对被表示为上下文向量，从而通过机器学习高效学习边界决策。
• 使用四种不同的分类器，评估在不同规模训练数据下的性能表现。
• 通过将字符序列直接转换为边界决策学习的特征向量，简化了训练数据准备过程。
• 该方法避免依赖大型词典，因此适用于低资源环境下的适应性应用。
• 模型在SigHAN Bakeoff 3基准数据集上进行评估，重点关注OOV召回率与整体F值。

实验结果

研究问题

• RQ1 基于文本的分词模型是否能在极少训练数据下实现与基于词典方法相当的高F值？
• RQ2 与现有方法相比，WBD模型在未登录词（OOV）上的表现如何？
• RQ3 WBD模型在不同文本变体、领域与文体上的泛化能力如何？
• RQ4 将边界判定视为二元决策的方法在语言学与计算学上是否可行，以实现鲁棒的分词？
• RQ5 将分词视为一系列局部二元决策的序列，其语言学与计算学含义是什么？

主要发现

• 当仅使用1,000个向量进行训练时，WBD模型即可实现可比且可靠的性能表现，证明了其极高的数据效率。
• 当使用100万条训练向量时，模型仍能保持强劲的F值，证实其可扩展性与鲁棒性。
• 在SigHAN Bakeoff 3数据集上，WBD模型的OOV召回率高于所有先前发表的结果。
• OOV召回性能与模型自身的F值相当，表明其在词典内词与未登录词上的表现均衡。
• 在极少数据下，该模型在适应性与可靠性方面均优于传统的基于词典的模型及以往的基于文本的模型。
• 结果支持该观点：WBD模型是实际中文分词应用中一种现实且鲁棒的解决方案。