[论文解读] Deep Enhanced Representation for Implicit Discourse Relation Recognition

Hongxiao Bai, Hai Zhao|arXiv (Cornell University)|Jul 13, 2018

Topic Modeling参考文献 36被引用 70

一句话总结

本文提出了一种深度、多粒度表示模型用于隐式话语关系识别，将词语、子词和上下文嵌入与深度残差双注意力编码器相结合，在 PDTB 2.0 上取得了当前最先进的结果（11类分类准确率超过 48%，4类分类 F1 超过 50%）。

ABSTRACT

Implicit discourse relation recognition is a challenging task as the relation prediction without explicit connectives in discourse parsing needs understanding of text spans and cannot be easily derived from surface features from the input sentence pairs. Thus, properly representing the text is very crucial to this task. In this paper, we propose a model augmented with different grained text representations, including character, subword, word, sentence, and sentence pair levels. The proposed deeper model is evaluated on the benchmark treebank and achieves state-of-the-art accuracy with greater than 48% in 11-way and $F_1$ score greater than 50% in 4-way classifications for the first time according to our best knowledge.

研究动机与目标

• 通过在多种文本粒度层次上丰富句子对表示来提升隐式话语关系识别。
• 将子词嵌入和上下文化嵌入（ELMo）与固定词嵌入结合，以提升表示质量。
• 开发一个深度残差双注意力编码器，以学习更丰富的句子及句子对表示。
• 在 PDTB 2.0 上评估所提出的模型，以确立在 11 类和 4 类分类任务上的新一代最佳性能。

提出的方法

• 词级模块通过固定的预训练词嵌入、子词嵌入（通过带子词CNN的BPE和高速融合）以及上下文化的ELMo嵌入来扩充标记嵌入；这三个分量被连接在一起形成 e_i。
• ELMo 表示来自最后两层 BiLSTM 的输出，采用自调权重组合，然后再降维到 d_c。
• 句子级模块使用堆叠的编码器块（可为卷积型或BiGRU型），并带有残差连接；Arg1 和 Arg2 使用特定参数以捕获不同的语义视角。
• 对句子层之间的表示应用双注意力；对注意特征进行 2-max 池化得到 o_j；最终表示 o 在各层之间拼接，作为输入进入一个 MLP 分类器。
• 使用两个分类器：一个用于关系分类，另一个用于连词/连接词分类（与联合交叉熵损失一起训练）；总损失为 Loss_relation + Loss_connective。
• 在 PDTB 2.0 的 11 类、4 类和二分类设置下评估模型，使用 PDTB-Lin 和 PDTB-Ji 拆分；预训练的 ELMo 编码器来自 AllenNLP；word2vec（Google News）初始化的嵌入在训练期间保持不变。

实验结果

研究问题

• RQ1 多粒度文本表示（词、子词、上下文嵌入）能否提升隐式话语关系识别？
• RQ2 更深的残差编码器和成对的双注意力是否能为 PDTB 2.0 产生更好的句子对表示？
• RQ3 面向 Arg1 与 Arg2 的不同参数的参数特定编码是否有利于捕捉特定于论元的语义？
• RQ4 子词层嵌入相对于字符级表示在该任务中的贡献是什么？
• RQ5 在训练中联合预测连接词是否能进一步提升隐式关系分类性能？

主要发现

• 所提出的模型在 PDTB 2.0 的 11 类分类上达到最先进的结果，首次在 PDTB-Ji 拆分上超过 48% 的准确率。
• 该模型在一级类别的 4 类分类上也达到 F1>50%，为发表时的新报道结果。
• 消融研究显示，词级增强（子词和 ELMo）与残差连接显著提升了性能，其中 Res 1（块残差）贡献大于 Res 2（对表示的残差）。
• 子词级嵌入在本任务中的表现优于字符级嵌入（47.03% 对 46.37% 的消融结果）。
• 论元特定的句子编码器参数比共享参数获得更好结果（46.29% 对 45.97% 的消融）。
• 跨多个编码层的双注意力以及逐层表示的拼接提供了更丰富的对表示，提升了分类性能。