[论文解读] A Deep Sequential Model for Discourse Parsing on Multi-Party Dialogues

Zhouxing Shi, Minlie Huang|arXiv (Cornell University)|Dec 1, 2018

Topic Modeling参考文献 30被引用 4

一句话总结

本文提出了一种深度序列模型，通过结构化编码器联合预测话语依赖关系并逐步构建多角色对话中的话语结构，利用局部EDU特征和全局结构上下文实现。该模型在关系分类任务上取得55.7%的F1分数，优于最先进基线模型，消融实验验证了结构化表征和说话人突出机制的有效性。

ABSTRACT

Discourse structures are beneficial for various NLP tasks such as dialogue understanding, question answering, sentiment analysis, and so on. This paper presents a deep sequential model for parsing discourse dependency structures of multi-party dialogues. The proposed model aims to construct a discourse dependency tree by predicting dependency relations and constructing the discourse structure jointly and alternately. It makes a sequential scan of the Elementary Discourse Units (EDUs) in a dialogue. For each EDU, the model decides to which previous EDU the current one should link and what the corresponding relation type is. The predicted link and relation type are then used to build the discourse structure incrementally with a structured encoder. During link prediction and relation classification, the model utilizes not only local information that represents the concerned EDUs, but also global information that encodes the EDU sequence and the discourse structure that is already built at the current step. Experiments show that the proposed model outperforms all the state-of-the-art baselines.

研究动机与目标

• 解决基于流水线的话语解析方法将依赖关系预测与结构构建分离所带来的局限性。
• 建模多角色对话中常见的非相邻关系所导致的非投射话语结构。
• 通过利用全局结构上下文，联合且交替预测依赖链接并构建话语结构，从而提升话语解析性能。
• 通过说话人突出机制将说话人信息融入话语表征，以增强对话理解。
• 证明编码当前话语结构的结构化表征显著提升依赖关系预测性能。

提出的方法

• 该模型对基本话语单元（EDUs）进行序列扫描，基于局部和全局上下文，为每个EDU预测其父EDU和关系类型。
• 它使用结构化编码器表示当前话语结构，同时编码EDU序列和已预测的依赖关系。
• 局部表征来自当前EDU及其候选父EDU，而全局表征包括完整的EDU序列和不断演化的对话结构。
• 说话人突出机制通过强调与当前EDU来自同一说话人的EDU，增强结构化表征，提升上下文感知能力。
• 该模型在预测链接和更新话语结构之间交替进行，通过当前结构的反馈实现迭代优化。
• 该框架使用结构化编码器以增量方式维护和更新话语树，注意力机制用于加权相关结构和序列信息。

实验结果

研究问题

• RQ1 是否一种联合预测依赖链接并构建话语结构的序列模型能够提升多角色对话中的话语解析性能？
• RQ2 将全局结构上下文（超越仅局部EDU特征）纳入是否能提升依赖关系预测的准确性？
• RQ3 说话人突出机制在提升多说话人对话的话语结构预测方面有多有效？
• RQ4 编码预测话语结构的结构化表征在多大程度上有助于提升链接和关系预测性能？
• RQ5 所提出的模型与将依赖关系预测与结构构建解耦的流水线方法相比表现如何？

主要发现

• 完整模型（Deep Sequential）在关系分类任务上取得55.7%的F1分数，显著优于最佳基线模型（Deep+Greedy）的51.9%。
• 采用结构化表征的模型（Deep Sequential）优于非结构化基线（71.0%链接F1）和随机结构变体（71.8%链接F1），证明了有意义结构编码的价值。
• 禁用说话人突出机制后，F1分数从55.7%下降至54.5%，证实其对关系预测的积极影响。
• 仅使用非结构化表征的模型（Deep Sequential (NS)）仍优于流水线基线（Deep+Greedy），表明即使没有显式结构编码，结合全局上下文的序列建模也能提升性能。
• 案例研究显示，结构化表征通过编码先前关系（如问题被回答）有助于解决依赖链接的歧义，从而指导正确父节点的选择。
• 该模型通过利用先前预测的$u_1 \rightarrow u_3$关系，正确预测EDU $u_4$的父节点为$u_3$，而基线模型因缺乏结构上下文而失败。