[论文解读] Local Contextual Attention with Hierarchical Structure for Dialogue Act Recognition

Zhigang Dai, Jinhua Fu+4 more|arXiv (Cornell University)|Mar 12, 2020

Topic Modeling参考文献 34被引用 13

一句话总结

该论文提出一种具有可学习高斯偏置的层次化自注意力模型，以增强对话行为识别中的局部上下文注意力，通过相对位置信息显式建模话语依赖关系。该方法在Switchboard数据集上达到80.34%的最先进准确率，在DailyDialog数据集上达到85.81%的最先进准确率，通过减少远距离话语带来的噪声并提升在线和离线设置下的上下文建模能力。

ABSTRACT

Dialogue act recognition is a fundamental task for an intelligent dialogue system. Previous work models the whole dialog to predict dialog acts, which may bring the noise from unrelated sentences. In this work, we design a hierarchical model based on self-attention to capture intra-sentence and inter-sentence information. We revise the attention distribution to focus on the local and contextual semantic information by incorporating the relative position information between utterances. Based on the found that the length of dialog affects the performance, we introduce a new dialog segmentation mechanism to analyze the effect of dialog length and context padding length under online and offline settings. The experiment shows that our method achieves promising performance on two datasets: Switchboard Dialogue Act and DailyDialog with the accuracy of 80.34\% and 85.81\% respectively. Visualization of the attention weights shows that our method can learn the context dependency between utterances explicitly.

研究动机与目标

• 为解决对话行为识别中远距离话语依赖带来的噪声问题，通过建模局部上下文关系来提升性能。
• 通过引入可学习高斯偏置以编码话语之间的相对位置信息，改进自注意力机制。
• 分析对话长度和上下文填充长度在在线和离线设置下对模型性能的影响。
• 提出一种对话分割机制，用于系统评估上下文窗口效应。
• 证明局部上下文注意力可提升对话行为分类中模型的鲁棒性与可解释性。

提出的方法

• 设计了一种分层深度学习模型，结合使用自注意力机制的语句级和对话级编码。
• 通过引入可学习高斯偏置，对注意力机制进行改进，以基于相对位置强调局部话语对。
• 高斯偏置作为话语间相对距离的函数进行计算，引导注意力聚焦于邻近上下文。
• 提出一种新型对话分割机制，用于评估不同对话长度和上下文填充策略下的性能。
• 在两个基准数据集Switchboard和DailyDialog上端到端训练模型，并对窗口大小和上下文长度进行消融实验。
• 该方法支持离线和在线推理设置，性能在不同上下文填充长度下进行评估。

实验结果

研究问题

• RQ1 通过可学习高斯偏置引入相对位置信息，如何改善对话行为识别中的注意力聚焦？
• RQ2 对话长度和上下文填充长度在在线和离线设置下对模型准确率有何影响？
• RQ3 局部上下文注意力与标准自注意力相比，在捕捉话语依赖关系方面表现如何？
• RQ4 所提出的对话分割机制能否有效隔离并分析由上下文窗口大小引起的表现差异？
• RQ5 建模局部上下文是否能减少对话序列中无关远距离话语带来的噪声？

主要发现

• 所提出的局部上下文注意力机制显著提升了对话行为识别的准确率，在Switchboard上达到80.34%，在DailyDialog上达到85.81%。
• 带有可学习高斯偏置的模型减少了对远距离话语的注意力，可视化结果表明，非相邻话语对（如位置0和7）之间的高注意力分数被有效抑制。
• 在DailyDialog上，当上下文填充超过2个话语时，性能趋于平稳，表明超过短上下文窗口后收益递减。
• LSTM+LC Attention在性能上优于标准注意力和双向LSTM基线模型，尤其在上下文受限的在线设置中表现更优。
• 该模型在不同对话长度下表现出鲁棒性和稳定性，使用最优窗口大小时性能下降最小。
• 可视化结果证实，改进后的注意力机制将权重集中在对角线附近，符合对话中局部依赖的语言直觉。