[论文解读] Enhanced Speaker-aware Multi-party Multi-turn Dialogue Comprehension

Xinbei Ma, Zhuosheng Zhang+1 more|arXiv (Cornell University)|Sep 9, 2021

Topic Modeling被引用 6

一句话总结

该论文提出了一种说话人感知的多角色多轮对话理解模型，通过掩码注意力机制和异构图网络显式建模说话人角色与话语关系，显著提升了性能。该方法在Molweni基准上取得了最先进结果，通过强化说话人-话语连接并捕捉非相邻话语依赖关系，显著提高了答案准确率。

ABSTRACT

Multi-party multi-turn dialogue comprehension brings unprecedented challenges on handling the complicated scenarios from multiple speakers and criss-crossed discourse relationship among speaker-aware utterances. Most existing methods deal with dialogue contexts as plain texts and pay insufficient attention to the crucial speaker-aware clues. In this work, we propose an enhanced speaker-aware model with masking attention and heterogeneous graph networks to comprehensively capture discourse clues from both sides of speaker property and speaker-aware relationships. With such comprehensive speaker-aware modeling, experimental results show that our speaker-aware model helps achieves state-of-the-art performance on the benchmark dataset Molweni. Case analysis shows that our model enhances the connections between utterances and their own speakers and captures the speaker-aware discourse relations, which are critical for dialogue modeling.

研究动机与目标

• 解决多角色多轮对话中复杂且非顺序的说话人转换以及错综复杂的话语关系问题。
• 通过显式建模说话人角色信息与说话人感知的话语结构，提升对话阅读理解性能。
• 克服现有方法将对话视为普通文本、未能充分利用说话人特异性线索与话语间关系的局限性。
• 通过整合说话人感知表示，提升多角色对话中抽取式问答任务的跨度抽取性能。

提出的方法

• 应用说话人掩码多头注意力机制，通过分别关注每个说话人自身话语内部，捕获整体说话人感知表示。
• 构建两个异构图网络：一个用于标注的话语关系，另一个用于话语之间的未标注关系。
• 融合来自掩码注意力和图网络的说话人感知表示，以丰富上下文编码。
• 将融合后的表示作为输入送入跨度抽取层，用于答案预测。
• 利用预训练语言模型（如BERT）作为基础编码器，并在对话问答任务上进行微调。
• 在注意力机制与消息传递过程中整合说话人身份与话语结构，以建模说话人感知的依赖关系。

实验结果

研究问题

• RQ1 在具有非顺序说话人转换的多角色多轮对话中，如何有效建模说话人角色信息？
• RQ2 非相邻话语之间的语篇关系在多角色对话理解中起到多大程度的贡献？
• RQ3 显式建模说话人感知的话语结构能否提升复杂对话中抽取式问答的性能？
• RQ4 掩码注意力与异构图网络在捕捉说话人感知与语篇感知表示方面表现如何比较？

主要发现

• 所提模型在Molweni基准上达到最先进性能，显著优于强基线模型，包括BERT、BERT-large、BERT-wwm与ELECTRA。
• 消融实验表明，三个说话人感知模块——说话人掩码、标注话语图与未标注话语图——均产生积极贡献，其中说话人掩码的影响最大。
• 案例研究显示，该模型能通过将答案正确关联到说话人，纠正基线模型的错误，例如在Who类问题中准确识别出'lightbright'而非'gnomefreak'。
• 该模型能够捕捉跨非相邻话语的复杂语篇关系，如澄清与问答对，从而提升对Why类问题的推理能力。
• 在FriendsQA数据集上，该模型展现出良好的泛化能力，证明其在Molweni基准之外也具备鲁棒性。
• 该模型增强了话语与其说话人之间的连接，并捕捉了说话人感知的语篇关系，这对实现准确理解至关重要。