[论文解读] A Practical Chinese Dependency Parser Based on A Large-scale Dataset

Shuai Zhang, Lijie Wang+2 more|arXiv (Cornell University)|Sep 2, 2020

Topic Modeling参考文献 17被引用 17

一句话总结

本论文提出 DDParser，一种基于百度中文语料库（DuCTB）训练的最先进中文依存句法分析器，该语料库包含约100万条来自多样化来源的手动标注句子。DDParser 基于图-based biaffine 架构，采用 BiLSTM 编码，并针对工业应用进行了优化，其在标准测试数据上达到 92.9% 的 LAS，在域外数据上达到 86.9% 的 LAS，且提供简单的一条命令部署接口。

ABSTRACT

Dependency parsing is a longstanding natural language processing task, with its outputs crucial to various downstream tasks. Recently, neural network based (NN-based) dependency parsing has achieved significant progress and obtained the state-of-the-art results. As we all know, NN-based approaches require massive amounts of labeled training data, which is very expensive because it requires human annotation by experts. Thus few industrial-oriented dependency parser tools are publicly available. In this report, we present Baidu Dependency Parser (DDParser), a new Chinese dependency parser trained on a large-scale manually labeled dataset called Baidu Chinese Treebank (DuCTB). DuCTB consists of about one million annotated sentences from multiple sources including search logs, Chinese newswire, various forum discourses, and conversation programs. DDParser is extended on the graph-based biaffine parser to accommodate to the characteristics of Chinese dataset. We conduct experiments on two test sets: the standard test set with the same distribution as the training set and the random test set sampled from other sources, and the labeled attachment scores (LAS) of them are 92.9% and 86.9% respectively. DDParser achieves the state-of-the-art results, and is released at https://github.com/baidu/DDParser.

研究动机与目标

• 开发一种适用于工业自然语言处理应用的实用、高性能中文依存句法分析器。
• 解决大规模、多样化且高质量中文依存句法分析语料库稀缺的问题。
• 实现对多样化句型（包括搜索日志和论坛中的非正式或不规则表达）的鲁棒泛化能力。
• 为研究人员和开发者提供用户友好、可直接投入生产的工具，且设置简单。
• 发布一款最先进水平的分析器，附带源代码和预训练模型，以推动开源自然语言处理研究的发展。

提出的方法

• 该分析器基于基于图的 biaffine 依存句法分析框架，通过 biaffine 注意力机制联合预测头词和依存关系。
• 词表示通过 300 维词嵌入和 50 维字符嵌入学习，并使用三层 BiLSTM 网络进行上下文编码。
• 在 biaffine 分类之前，对 BiLSTM 输出应用降维的多层感知机（MLP），以过滤无关信息。
• biaffine 分类器通过公式 $ S^{arc} = (H^{d-arc} \oplus I)U^{arc}H^{h-arc} $ 计算弧得分，通过公式 $ S^{rel} = (H^{d-rel} \oplus I)U^{rel}((H^{h-rel})^T \oplus I)^T $ 计算关系得分。
• 一阶 Eisner 算法确保输出为有效的投影依存树，并通过预检查确保中序遍历顺序有效，以验证树结构。
• 提出一种新型过滤策略：检查依存树的中序遍历是否产生连续的词序，从而在解码前确保投影树的有效性。

实验结果

研究问题

• RQ1 在大规模、多样化且真实世界的中文语料上训练的神经依存句法分析器，是否能在域内和域外测试集上均实现最先进性能？
• RQ2 采用 BiLSTM 编码和字符级特征的 biaffine 分析器，在中文依存句法分析基准上的表现，与现有工具相比如何？
• RQ3 分析器在处理来自搜索日志和论坛等来源的句法不规则或非正式句子时，其泛化能力有多强？
• RQ4 能否通过简化部署和开源发布，使高性能依存句法分析器在工业应用中变得实用且易于访问？
• RQ5 涵盖新闻报道、论坛和搜索查询的数据多样性对句法分析鲁棒性和泛化能力有何影响？

主要发现

• DDParser 在百度中文语料库（DuCTB）的标准测试集上实现了 92.9% 的有标签依存连接得分（LAS），表现出最先进水平的性能。
• 在从域外来源随机抽取的测试集上，分析器仍保持 86.9% 的 LAS，表明其对未见句型具有强大的泛化能力。
• 在随机测试集上，该模型优于其他公开可用的分析器，UAS 达到 89.7%，LAS 达到 86.9%，在两项指标上均超过竞争工具。
• 该分析器具有高度实用性，仅需一条命令即可完成安装和推理，适用于工业和科研应用。
• 使用涵盖搜索日志、论坛和新闻报道的多样化大规模语料库（DuCTB）显著提升了对句法变异的鲁棒性。
• 字符级嵌入与 BiLSTM 编码的结合提升了性能，尤其在非正式文本中的罕见词或 OOV 词上表现更优。