[论文解读] Dialogue Act Classification with Context-Aware Self-Attention

Vipul Raheja, Joel Tetreault|arXiv (Cornell University)|Apr 4, 2019

Speech and dialogue systems参考文献 29被引用 60

一句话总结

本文提出了一种使用上下文感知自注意力的分层模型用于对话行为分类，在将 utterance-level 表征与会话级上下文和 CRF 解码相结合后，在 SwDA 上实现了最先进的结果，在 MRDA 上也具竞争力。

ABSTRACT

Recent work in Dialogue Act classification has treated the task as a sequence labeling problem using hierarchical deep neural networks. We build on this prior work by leveraging the effectiveness of a context-aware self-attention mechanism coupled with a hierarchical recurrent neural network. We conduct extensive evaluations on standard Dialogue Act classification datasets and show significant improvement over state-of-the-art results on the Switchboard Dialogue Act (SwDA) Corpus. We also investigate the impact of different utterance-level representation learning methods and show that our method is effective at capturing utterance-level semantic text representations while maintaining high accuracy.

研究动机与目标

• 通过利用会话级上下文来推动改进的对话行为(DA)分类。
• 开发一个将 utterance-level 表征与上下文感知自注意力相结合的分层模型。
• 通过会话级 RNN 和 CRF 解码器纳入前一个 utterance 的上下文，以建模标签依赖关系。
• 在 SwDA 和 MRDA 数据集上评估该模型并分析 utterance 表征学习方法。

提出的方法

• 使用一个 utterance-level RNN 对每个发话中的单词进行编码，结合 GloVe、ELMo 和字符级 CNN 嵌入。
• 应用一个上下文感知自注意力机制，将先前的会话状态纳入，以生成 utterance 表征。
• 在 utterance embedding 上构建一个会话级双向 GRU，随后是一个 CRF 层以联合解码对话行为序列。
• 尝试各种 utterance 表征学习方法（TF-IDF、GloVe 基线、Skip-Thought、Paragraph Vector，以及联合学习的表示）。
• 可选地比较注意力变体（词级注意力、自注意力），并评估上下文对性能的影响。

实验结果

研究问题

• RQ1 与非上下文表示相比，上下文感知自注意力是否能改善 DA 分类的 utterance 表征？
• RQ2 纳入会话级上下文（先前的隐藏状态）如何影响 SwDA 和 MRDA 的分类准确性？
• RQ3 不同 utterance 表征学习方法对整体模型性能的影响？
• RQ4 CRF 解码在该分层结构中的序列标注性能有何影响？

主要发现

• 所提出的方法在 SwDA 上达到 82.9％ 的准确率，在 MRDA 上达到 91.1％，超过了若干基线和许多先前的方法。
• 我们的方法在 SwDA 上超越最新技术 1.6%，在 MRDA 上接近 0.6%。
• 上下文信息显著提升性能，特别是与 CRF 解码结合时。
• 上下文感知自注意力比非上下文或基线表示产生更好的 utterance 表征。
• 字符级嵌入和丰富的 utterance 表征（GloVe/ELMo）对两个数据集都带来改进。