[论文解读] Filling the Gap of Utterance-aware and Speaker-aware Representation for Multi-turn Dialogue

Longxiang Liu, Zhuosheng Zhang+3 more|arXiv (Cornell University)|Sep 14, 2020

Speech and dialogue systems被引用 9

一句话总结

本文提出了一种基于掩码的解耦-融合网络（MDFN），通过在预训练语言模型中使用掩码注意力机制，显式建模话语感知和说话人感知表征，从而提升检索式多轮对话系统的性能。该方法在四个基准数据集上显著超越强 baseline 模型 ELECTRA，通过解耦说话人角色与话语级上下文，实现更优的推理与响应选择，达到当前最优结果。

ABSTRACT

A multi-turn dialogue is composed of multiple utterances from two or more different speaker roles. Thus utterance- and speaker-aware clues are supposed to be well captured in models. However, in the existing retrieval-based multi-turn dialogue modeling, the pre-trained language models (PrLMs) as encoder represent the dialogues coarsely by taking the pairwise dialogue history and candidate response as a whole, the hierarchical information on either utterance interrelation or speaker roles coupled in such representations is not well addressed. In this work, we propose a novel model to fill such a gap by modeling the effective utterance-aware and speaker-aware representations entailed in a dialogue history. In detail, we decouple the contextualized word representations by masking mechanisms in Transformer-based PrLM, making each word only focus on the words in current utterance, other utterances, two speaker roles (i.e., utterances of sender and utterances of receiver), respectively. Experimental results show that our method boosts the strong ELECTRA baseline substantially in four public benchmark datasets, and achieves various new state-of-the-art performance over previous methods. A series of ablation studies are conducted to demonstrate the effectiveness of our method.

研究动机与目标

• 解决现有检索式多轮对话系统中缺乏对话语感知和说话人感知表征的显式建模问题。
• 通过更有效地捕捉说话人角色转换与局部话语语义，提升响应选择的准确性。
• 克服标准预训练语言模型在自注意力机制中将远距离上下文与说话人角色纠缠的局限性。
• 设计一种模块化、高效且可泛化的方法，以在多种对话基准上提升性能。
• 验证解耦机制与融合策略在对话表征学习中的必要性与有效性。

提出的方法

• 该方法在基于 Transformer 的预训练语言模型中引入掩码机制，分别将注意力限制在当前话语、其他话语或说话人角色（发送者/接收者）上。
• 通过为话语感知与说话人感知建模分别应用不同的掩码模式，解耦上下文表征，使注意力能聚焦于相关子组件。
• 采用门控融合机制整合解耦后的表征，以原始词表征作为参考，计算注意力权重以实现最优信息保留。
• 在解耦后，使用 BiGRU 层建模话语间的序列依赖关系，捕捉回合级上下文。
• 通过最大池化聚合词级特征，获得最终表征，该方法比平均池化或基于 CNN 的方法更能保留显著信号。
• 该框架兼容多种预训练语言模型（如 BERT、RoBERTa、ELECTRA），支持在不同模型架构间的泛化。

实验结果

研究问题

• RQ1 显式的话语感知与说话人感知表征学习如何提升多轮对话中的响应选择性能？
• RQ2 话语感知与说话人感知建模在处理指代消解与角色转换中的相对贡献如何？
• RQ3 不同的融合与聚合策略如何影响最终对话表征的质量？
• RQ4 所提出的解耦机制能否在不同预训练语言模型上有效泛化？
• RQ5 对于短对话序列，解耦与 BiGRU 层的最优深度是多少？

主要发现

• MDFN 模型在四个公开的检索式多轮对话基准上达到当前最优性能，在 MuTual 数据集上相比 ELECTRA 基线模型 R@1 提升 5.1%。
• 消融实验证实，说话人感知建模是最关键的组件，显著优于无此模块的模型。
• 最大池化在聚合阶段优于平均池化与基于 CNN 的方法，后者因固定滤波器共享而泛化能力差。
• 单层解耦已足够且优于更深的堆叠结构，因深层模块会阻碍学习并引入噪声。
• BiGRU 层深度超过一层会降低性能，表明对短对话序列而言，浅层建模为最优方案。
• 该方法在不同预训练模型上泛化良好，在 BERT、RoBERTa 与 ELECTRA 的 base 及 large 模型上均表现出一致的性能提升。