[论文解读] Incorporating Commonsense Knowledge into Abstractive Dialogue Summarization via Heterogeneous Graph Networks

Xiachong Feng, Xiaocheng Feng+2 more|arXiv (Cornell University)|Oct 20, 2020

Topic Modeling参考文献 30被引用 23

一句话总结

本文提出了一种对话异构图网络（D-HGN），将话语、说话人以及ConceptNet中的常识知识整合到统一的异构图中，以提升生成式对话摘要的质量。通过将这些元素建模为具有专用消息融合与节点嵌入模块的不同节点类型，D-HGN在SAMSum数据集上达到最先进性能，并在未见领域（如ADSC）中展现出良好的泛化能力，证明了结构化常识知识在对话理解中的价值。

ABSTRACT

Abstractive dialogue summarization is the task of capturing the highlights of a dialogue and rewriting them into a concise version. In this paper, we present a novel multi-speaker dialogue summarizer to demonstrate how large-scale commonsense knowledge can facilitate dialogue understanding and summary generation. In detail, we consider utterance and commonsense knowledge as two different types of data and design a Dialogue Heterogeneous Graph Network (D-HGN) for modeling both information. Meanwhile, we also add speakers as heterogeneous nodes to facilitate information flow. Experimental results on the SAMSum dataset show that our model can outperform various methods. We also conduct zero-shot setting experiments on the Argumentative Dialogue Summary Corpus, the results show that our model can better generalized to the new domain.

研究动机与目标

• 解决现有对话摘要模型忽略常识知识的局限性，该局限性阻碍了对对话上下文的深层理解。
• 探究大规模常识知识如何通过捕捉隐含意图并连接非相邻话语，增强生成式摘要的质量。
• 将话语、说话人与知识建模为图中的异构节点，以改善信息流动与表征学习。
• 评估模型在新领域（如论辩对话）中零样本设置下的泛化能力。
• 设计专用模块（消息融合与节点嵌入）以增强异构图结构中的表征学习。

提出的方法

• 构建包含三种节点类型的异构对话图（HDG）：话语、说话人与来自ConceptNet的常识知识。
• 通过语义相似度与关系匹配，采用二分图构建过程将话语与相关知识节点连接。
• 将说话人节点作为异构实体引入，以建模说话人特异性上下文并改善信息传播。
• 实现一个消息融合模块，聚合来自说话人与知识邻居的消息，以丰富话语表征。
• 应用节点嵌入模块，向话语节点注入位置与结构感知信息，以保留对话顺序与上下文。
• 采用端到端序列到序列框架，结合交叉注意力机制，进行D-HGN模型的训练以生成摘要。

实验结果

研究问题

• RQ1 将ConceptNet中的常识知识引入是否能提升对话摘要的质量与生成性？
• RQ2 将说话人建模为异构节点如何影响对话表征与摘要性能？
• RQ3 使用异构图结构是否能实现比同构图方法更优的信息整合？
• RQ4 模型是否能在未见过的领域中实现零样本泛化，尤其是在使用常识知识的情况下？
• RQ5 模型中的注意力权重在多大程度上反映了其对关键知识与对话上下文的理解？

主要发现

• 在SAMSum数据集上，D-HGN在所有基线模型中取得最高ROUGE分数，ROUGE-L F1达到24.78，较次佳模型高出1.25分。
• 消融实验表明，移除常识知识（D-HGN(w/o knowledge)）会使抽象性降低0.78分，证实其在生成更深层次、更有意义摘要中的关键作用。
• 移除说话人节点（D-HGN(w/o speaker)）导致正确性下降1.12分，证明异构性建模的重要性。
• 在论辩对话摘要语料库（Argumentative Dialogue Summary Corpus）的零样本评估中，D-HGN取得22.75的最高ROUGE-L分数，优于甚至超过知识增强的同构图模型。
• t-SNE可视化结果表明，D-HGN学习到的节点表征比D-GAT更具离散性与可区分性，表明其语义分离能力更优。
• 案例研究显示，D-HGN能正确关注相关知识节点（如“birthday party”），生成更正式、信息更丰富的摘要，包括“cake”等关键细节。