[论文解读] Neural Network Models for Implicit Discourse Relation Classification in English and Chinese without Surface Features

Attapol Rutherford, Vera Demberg+1 more|arXiv (Cornell University)|Jun 7, 2016

Topic Modeling参考文献 29被引用 10

一句话总结

该论文提出了一种无需依赖词典或句法分析等表层特征的前馈与LSTM神经网络模型，用于英语和中文的隐性话语关系分类。令人惊讶的是，表现最佳的前馈模型在性能上超越了LSTM模型以及使用手工特征的系统，在英语（36.26%准确率）和中文（85.45%准确率）数据集上均达到最先进水平，标志着首个基于CDTB风格的中文话语树库神经网络解析器的诞生。

ABSTRACT

Inferring implicit discourse relations in natural language text is the most difficult subtask in discourse parsing. Surface features achieve good performance, but they are not readily applicable to other languages without semantic lexicons. Previous neural models require parses, surface features, or a small label set to work well. Here, we propose neural network models that are based on feedforward and long-short term memory architecture without any surface features. To our surprise, our best configured feedforward architecture outperforms LSTM-based model in most cases despite thorough tuning. Under various fine-grained label sets and a cross-linguistic setting, our feedforward models perform consistently better or at least just as well as systems that require hand-crafted surface features. Our models present the first neural Chinese discourse parser in the style of Chinese Discourse Treebank, showing that our results hold cross-linguistically.

研究动机与目标

• 开发不依赖于表层特征（如语义词典或句法分析）的神经网络模型，用于隐性话语关系分类。
• 探究高维词向量在低资源话语解析设置中，能否弥补缺乏语言结构的不足。
• 评估不同神经网络架构（前馈、LSTM、树形LSTM）在跨语言话语关系分类任务中的有效性。
• 建立首个基于中文话语树库（CDTB）的神经话语解析器，并验证跨语言泛化能力。

提出的方法

• 模型使用在大规模单语语料上预训练的密集词嵌入（300维）作为输入表征，不引入任何表层特征。
• 采用前馈与LSTM架构对两个话语成分进行编码，通过全连接隐藏层建模其交互关系。
• 词向量通过CBOW与Skipgram模型在英语和中文Gigaword语料上训练，超参数在开发集上进行调优。
• 模型通过交叉熵损失进行端到端训练，并在中文数据集上采用7折交叉验证，在英语数据集上采用标准CoNLL测试集进行评估。
• 在中文任务中，Skipgram嵌入始终优于CBOW，且模型性能对向量维度与架构选择较为敏感。
• 基线比较采用最大熵模型，并引入手工设计的特征，如词对、依存规则与Brown聚类。

实验结果

研究问题

• RQ1 在隐性话语关系分类任务中，是否能够实现无需表层特征的神经网络模型，并在性能上达到或超越依赖手工特征的系统？
• RQ2 在低资源话语解析设置中，简单的前馈架构是否优于更复杂的循环架构（如LSTM）？
• RQ3 高维词向量在多大程度上可以弥补缺乏句法分析或语义词典等语言结构的缺失？
• RQ4 在未引入语言特异性特征的前提下，是否能够使在英语上训练的神经网络模型有效泛化到中文话语解析任务？

主要发现

• 最佳前馈模型在CoNLL 2015-2016英语共享任务上达到36.26%的准确率，显著优于此前最先进系统（34.45%）所采用的表层特征方法。
• 在中文话语树库上，最佳前馈模型达到85.45%的准确率，超越了最强的基于特征的基线模型（84.16%）所使用的所有特征组合。
• 在英语和中文任务中，前馈模型均优于所有LSTM变体，表明该任务中序列建模并非必要。
• 在中文中，Skipgram词向量性能优于CBOW，而在英语中未观察到类似差异，表明嵌入质量存在语言特异性影响。
• 结果表明，高维词向量可有效替代手工特征，实现在无需语言特异性资源情况下的稳健跨语言话语解析。
• 本研究首次实现了基于CDTB风格中文话语树库的神经话语解析器，证实了该方法在跨语言场景下的可迁移性。