[论文解读] Implicit Discourse Relation Classification via Multi-Task Neural Networks

Yang Liu, Sujian Li+2 more|arXiv (Cornell University)|Mar 9, 2016

Natural Language Processing Techniques参考文献 22被引用 75

一句话总结

该论文提出了一种多任务神经网络（MTNN），结合卷积神经网络（CNNs）与动态池化技术，联合学习跨多个语篇语料库（PDTB、RST-DT 和 NYT）的隐式语篇关系分类中的共享表示与任务特定表示。通过利用跨语料库的关联关系，并以密集向量表示替代稀疏词汇特征，该模型在 PDTB 的隐式关系分类任务上取得了当前最优性能，显著优于基线系统。

ABSTRACT

Without discourse connectives, classifying implicit discourse relations is a challenging task and a bottleneck for building a practical discourse parser. Previous research usually makes use of one kind of discourse framework such as PDTB or RST to improve the classification performance on discourse relations. Actually, under different discourse annotation frameworks, there exist multiple corpora which have internal connections. To exploit the combination of different discourse corpora, we design related discourse classification tasks specific to a corpus, and propose a novel Convolutional Neural Network embedded multi-task learning system to synthesize these tasks by learning both unique and shared representations for each task. The experimental results on the PDTB implicit discourse relation classification task demonstrate that our model achieves significant gains over baseline systems.

研究动机与目标

• 解决隐式语篇关系分类中训练数据稀疏与论据表示不佳的挑战。
• 通过整合多个语料库，利用不同语篇标注框架（如 PDTB 与 RST-DT）之间的内部关联，提升模型性能。
• 通过设计共享表示的多任务学习系统，提升相关语篇任务之间的分类性能。
• 使用 CNN 与动态池化技术，将稀疏词汇特征（如词对）替换为密集的低维向量表示。
• 通过多任务神经网络框架中共享与独特表示的协同优化，实现任务间的相互促进。

提出的方法

• 构建一个端到端的多任务神经网络（MTNN），同时在多个语料库的语篇分类任务上进行联合训练：PDTB（隐式与显式关系）、RST-DT（Explanatory、Joint）以及 NYT（基于连接词的关系）。
• 采用带有动态池化的 CNN 模型，学习句子对的密集低维向量表示，替代传统的稀疏词汇特征（如词对）。
• 为每个语料库设计特定的任务头，同时共享底层表示，以捕捉任务间的共性与独特性模式。
• 利用动态池化处理可变长度的句子对，提取对关系分类具有判别性的关键特征。
• 端到端训练模型，同步优化所有任务，实现知识迁移与泛化能力的提升。
• 利用语篇关系之间的结构相似性（如 PDTB 中的 Expansion 与 RST-DT 中的 Elaboration）增强表示学习效果。

实验结果

研究问题

• RQ1 结合具有不同标注框架的多个语篇语料库，能否提升隐式语篇关系分类的性能？
• RQ2 具有共享与独特表示的多任务学习框架，能否在隐式语篇关系分类任务上超越单任务模型？
• RQ3 将稀疏词汇特征替换为基于 CNN 的密集表示，能否在低资源语篇关系上取得更优性能？
• RQ4 该模型在罕见或低频语篇关系（如 Contingency 与 Temporal）上的表现如何？
• RQ5 辅助任务（如显式关系分类）在多大程度上能提升隐式关系分类的性能？

主要发现

• 所提出的多任务神经网络在 PDTB 的隐式语篇关系分类任务上达到了当前最优性能，显著优于现有基线系统。
• 模型在低资源关系（如 Contingency 与 Temporal）上的性能显著提升，其中 Temporal 关系的 F1 分数从 33.30 提升至 37.17，充分体现了多任务学习的优势。
• 通过 CNN 与动态池化学习密集表示，减少了对稀疏词对的依赖，提升了特征质量。
• 模型从与目标任务在结构或语义上相似的辅助任务中获益最多，如 Expansion 与 Elaboration 关系。
• Comparison 关系的性能提升最小，可能是因为其对句法特征的强依赖性已由模型高层充分捕捉。
• 实验结果证实，通过多任务学习整合多个语篇语料库，可有效缓解数据稀疏问题，并提升各类关系的泛化能力。