[论文解读] From Word Segmentation to POS Tagging for Vietnamese

Dat Quoc Nguyen, Thanh Vu+3 more|arXiv (Cornell University)|Nov 14, 2017

Natural Language Processing Techniques被引用 9

一句话总结

本文通过使用基于特征和神经网络的模型，对未分词的越南语词性（POS）标注中的流水线策略与联合策略进行了实证比较。结果表明，流水线策略优于联合方法，且传统基于特征的模型（MarMoT）在准确率上表现最佳，尽管训练数据有限，仍优于神经网络模型。

ABSTRACT

This paper presents an empirical comparison of two strategies for Vietnamese Part-of-Speech (POS) tagging from unsegmented text: (i) a pipeline strategy where we consider the output of a word segmenter as the input of a POS tagger, and (ii) a joint strategy where we predict a combined segmentation and POS tag for each syllable. We also make a comparison between state-of-the-art (SOTA) feature-based and neural network-based models. On the benchmark Vietnamese treebank (Nguyen et al., 2009), experimental results show that the pipeline strategy produces better scores of POS tagging from unsegmented text than the joint strategy, and the highest accuracy is obtained by using a feature-based model.

研究动机与目标

• 评估在未提供词切分的情况下，越南语 POS 标注中流水线策略与联合策略的有效性。
• 比较最先进的基于特征的模型（如 MarMoT）与基于神经网络的模型（如 BiLSTM-CRF）在越南语 POS 标注中的表现。
• 评估在越南语等低资源设置下，训练数据量和语言学特征对模型性能的影响。
• 基于准确率与速度的权衡，为越南语自然语言处理系统提供实际建议。

提出的方法

• 流水线策略首先使用词切分器（如 RDRsegmenter）对未分词的越南语文本进行切分，然后使用 POS 标注器对生成的词进行标注。
• 联合策略为每个音节预测一个组合的切分与 POS 标签，使用如 B-N（词的开始，名词）或 I-N（词内部，名词）等标签。
• 评估了五种模型：RDRPOSTagger、MarMoT 以及三种使用字符级 CNN 和 LSTM 编码器的 BiLSTM-CRF 变体。
• 通过在开发集上使用早停法进行超参数调优，最优配置为 2 个 BiLSTM 层和 100–250 个 LSTM 单元。
• 为词切分和 POS 标注分别计算 F1 分数，以真实切分为基准评估 POS 准确率。
• 研究使用了基准越南语语料库（Nguyen et al., 2009），其中训练集包含 27,000 个句子，测试集为标准划分。

实验结果

研究问题

• RQ1 与联合策略相比，从未分词越南语文本中采用流水线策略进行 POS 标注是否能获得更高的准确率？
• RQ2 在训练数据有限的情况下，传统基于特征的模型是否优于基于神经网络的模型进行越南语 POS 标注？
• RQ3 当使用预测的词切分而非真实切分时，POS 标注性能会如何下降？
• RQ4 对于使用字符级嵌入的越南语 POS 标注，BiLSTM-CRF 模型的最佳配置是什么？
• RQ5 在实际越南语自然语言处理应用中，哪种模型在准确率与推理速度之间提供了最佳权衡？

主要发现

• 流水线策略在词切分和 POS 标注两方面的 F1 分数均显著高于联合策略，POS 标注 F1 平均提升 4.2%。
• 当使用真实切分时，MarMoT 基于特征的模型在 POS 标注中达到最高的准确率 95.88%，优于所有神经网络模型。
• 使用字符级 LSTM 嵌入的 BiLSTM-CRF 模型准确率达到 95.31%，但仍低于 MarMoT，表明在此数据集上神经网络模型尚未超越基于特征的模型。
• 当使用预测切分而非真实切分时，所有模型的 POS 标注准确率均下降约 2%，但流水线策略仍比联合策略更具鲁棒性。
• RDRPOSTagger 速度最快，达每秒 180,000 个词，而 MarMoT 在高精度应用中提供了最佳的准确率-速度平衡。
• 研究发现，将语言学特征融入基于特征的模型可进一步提升性能，尤其是在当前越南语 NLP 数据稀缺的背景下。