[论文解读] A neural joint model for Vietnamese word segmentation, POS tagging and dependency parsing

Dat Quoc Nguyen|arXiv (Cornell University)|Dec 29, 2018

Natural Language Processing Techniques参考文献 42被引用 7

一句话总结

本论文提出了首个用于联合越南语分词、词性（POS）标注和依存句法分析的神经多任务学习模型。该模型在BIST基于图的依存句法解析器基础上，引入BiLSTM-CRF架构以实现分词和POS标注，其在基准数据集上的表现达到当前最先进或具有竞争力的水平。

ABSTRACT

We propose the first multi-task learning model for joint Vietnamese word segmentation, part-of-speech (POS) tagging and dependency parsing. In particular, our model extends the BIST graph-based dependency parser (Kiperwasser and Goldberg, 2016) with BiLSTM-CRF-based neural layers (Huang et al., 2015) for word segmentation and POS tagging. On Vietnamese benchmark datasets, experimental results show that our joint model obtains state-of-the-art or competitive performances.

研究动机与目标

• 通过联合学习分词、POS标注和依存句法分析，解决基于流水线的越南语NLP系统中的错误传播问题。
• 克服独立模型因分词和POS标注不完善而导致的错误级联问题。
• 构建一个统一的神经框架，通过在所有三个任务间共享表示来提升整体性能。
• 证明多任务学习在低资源、形态复杂的语言（如越南语）中的有效性。
• 提供一种可扩展且端到端可训练的架构，在标准基准上超越现有的流水线方法。

提出的方法

• 将越南语分词形式化为使用BIO标签的序列标注任务，通过在音节级表示上使用BiLSTM-CRF模型进行预测。
• 每个音节通过音节嵌入与初始词边界标签嵌入（来自RDRsegmenter）的拼接来表示。
• 使用BiLSTM-CRF模型预测词边界，并从音节生成分词结果。
• 每个分词结果通过拼接词嵌入与音节级词嵌入来表示，以辅助POS标注。
• 应用另一个BiLSTM-CRF模型，从分词序列中预测POS标签。
• 将分词结果及其预测的POS标签输入基于图的依存句法解析器（BIST风格），通过候选头节点上的打分函数预测依存弧及其标签。

实验结果

研究问题

• RQ1 与流水线系统相比，联合神经模型是否能在越南语的分词、POS标注和依存句法分析任务上提升性能？
• RQ2 多任务学习在越南语中减少序列NLP任务间错误传播方面的有效性如何？
• RQ3 CRF层和POS标签嵌入对联合模型性能的贡献是什么？
• RQ4 引入初始词边界标签嵌入是否能提升分词组件的准确性？
• RQ5 联合训练中共享表示在多大程度上提升了依存句法分析的性能？

主要发现

• 联合模型在越南语基准数据集上的所有三项任务——分词、POS标注和依存句法分析——均达到了最先进或具有竞争力的结果。
• 消融研究显示，若移除分词任务的CRF层，F1值会下降约0.3–0.4个百分点，表明其在序列标注中的重要性。
• 若将POS标注的CRF层替换为Softmax分类器，POS标注的F1值明显下降，证实了序列建模的优势。
• 若从解析组件中移除POS标签嵌入，UAS和LAS均下降超过1.0个百分点，表明POS信息在解析中的关键作用。
• 联合模型在所有任务上均优于流水线策略（WS → POS → Dep），证明了共享表示学习的优势。
• 即使使用基于规则的分词器生成的初始词边界标签，该模型仍表现出鲁棒性和有效性，表明其具备强大的泛化能力。