[论文解读] Mind the Gap! Injecting Commonsense Knowledge for Abstractive Dialogue Summarization

Seungone Kim, Se June Joo+4 more|arXiv (Cornell University)|Sep 2, 2022

Topic Modeling被引用 12

一句话总结

本文提出 SICK 和 SICK++ 框架，通过注入常识知识来解决生成式对话摘要中捕捉未言明意图和隐含意义的挑战。通过基于相似度的常识推理选择方法以及结合常识监督的多任务学习，SICK++ 在 SAMSum 和 DialogSum 上优于强基线模型，生成的摘要更具信息量且更一致，尤其在低数据设置下表现更优。

ABSTRACT

In this paper, we propose to leverage the unique characteristics of dialogues sharing commonsense knowledge across participants, to resolve the difficulties in summarizing them. We present SICK, a framework that uses commonsense inferences as additional context. Compared to previous work that solely relies on the input dialogue, SICK uses an external knowledge model to generate a rich set of commonsense inferences and selects the most probable one with a similarity-based selection method. Built upon SICK, SICK++ utilizes commonsense as supervision, where the task of generating commonsense inferences is added upon summarizing the dialogue in a multi-task learning setting. Experimental results show that with injected commonsense knowledge, our framework generates more informative and consistent summaries than existing methods.

研究动机与目标

• 为解决对话中难以捕捉未言明意图和隐含意义的问题，这些因素会阻碍有效摘要生成。
• 解决摘要任务中对话与文档形式之间的差异。
• 通过结构化注入常识知识，提升生成式对话摘要的信息量与一致性。
• 探究常识知识是否能提升模型性能，尤其是在低数据场景下。
• 研究在多任务学习设置中使用常识作为监督信号的有效性。

提出的方法

• SICK 使用外部常识知识模型（如 COMET）为每个话语生成多个以事件和社交互动为中心的推理。
• 采用基于相似度的筛选方法，过滤并选择最相关的常识推理作为对话输入的附加上下文。
• SICK++ 通过引入双解码器架构扩展 SICK，其中一个解码器从黄金摘要中生成目标常识推理。
• 在多任务学习框架中联合训练对话摘要与常识生成任务，以提升知识注入与编码器表征能力。
• 该框架利用 BART 等预训练模型，将常识推理作为附加输入上下文与监督信号整合。
• 通过注意力可视化与消融实验分析模型对注入常识知识的利用效率。

实验结果

研究问题

• RQ1 注入常识知识是否能提升生成式对话摘要的质量与一致性？
• RQ2 在多任务学习设置中，常识监督如何影响知识利用与摘要性能？
• RQ3 所提出的框架是否能在低数据训练条件下提升性能？
• RQ4 注意力机制如何反映模型对注入常识推理的依赖程度？
• RQ5 性能提升是源于常识注入，还是仅仅因为输入长度增加？

主要发现

• SICK++ 在 SAMSum 和 DialogSum 基准测试中均优于 BART-xsum 及其他强基线模型，展现出更优的摘要质量。
• 在零样本评估中，SICK 的表现优于 BART-xsum，证实常识注入即使在无目标数据微调的情况下也能提升摘要质量。
• 仅使用 30% 的训练数据时，SICK++ 的性能已超过在 70% 数据上训练的 BART-xsum，表明其具备强大的数据效率。
• 注意力可视化显示，SICK++ 在深层网络中更倾向于关注常识推理，表明知识在深层表征中得到更有效的整合。
• 在所有数据规模下，SICK++ 与 BART-xsum 的性能差距持续存在，证实常识注入的稳健性。
• 人工评估确认，SICK++ 生成的摘要比基线模型更具信息量且更一致。