[论文解读] Multi-level Gated Recurrent Neural Network for Dialog Act Classification

Wei Li, Yunfang Wu|arXiv (Cornell University)|Oct 4, 2019

Topic Modeling参考文献 31被引用 12

一句话总结

该论文提出了一种多层级门控循环神经网络（GRNN），通过整合文本、上下文和非文本特征，以提升对话行为（DA）分类性能。通过使用两级GRNN建模句子级和对话级依赖关系，并结合前馈网络处理非文本线索，该模型在Switchboard对话行为（SWDA）数据集上实现了79.37%的准确率，较之前最先进方法高出超过6%，显著提升了对短句和模糊语句的分类效果。

ABSTRACT

In this paper we focus on the problem of dialog act (DA) labelling. This problem has recently attracted a lot of attention as it is an important sub-part of an automatic question answering system, which is currently in great demand. Traditional methods tend to see this problem as a sequence labelling task and deals with it by applying classifiers with rich features. Most of the current neural network models still omit the sequential information in the conversation. Henceforth, we apply a novel multi-level gated recurrent neural network (GRNN) with non-textual information to predict the DA tag. Our model not only utilizes textual information, but also makes use of non-textual and contextual information. In comparison, our model has shown significant improvement over previous works on Switchboard Dialog Act (SWDA) task by over 6%.

研究动机与目标

• 解决传统模型在缺乏上下文和非词汇信息时，对短句和模糊语句的对话行为分类失效的问题。
• 克服先前神经网络模型忽略长距离依赖关系且未能整合非文本线索（如笑声或停顿）的局限性。
• 通过结合对话上下文的分层建模与多模态特征，提升在Switchboard对话行为（SWDA）语料库上的性能。
• 减少对手动特征工程的依赖，实现对话行为中上下文和非语言信号的端到端学习。

提出的方法

• 采用两级GRNN架构：下层GRU处理单个句子表征，上层GRU捕捉跨对话轮次的长距离依赖关系。
• 通过独立的前馈神经网络整合非文本特征（如笑声、沉默），并将该网络的隐藏层输出与句子嵌入拼接后输入上层GRU。
• 以词嵌入作为下层GRU的输入，随后接一个Softmax层，用于在每个时间步预测DA标签。
• 在将句子级表征与非文本特征结合后，输入上层GRU，以建模上下文动态。
• 使用交叉熵损失端到端训练整个模型，实现文本、上下文和非语言成分的联合优化。
• 对比CNN、单层GRU和混合模型等变体，对各组件的贡献进行消融分析，尤其关注多层级GRNN和非文本特征的作用。

实验结果

研究问题

• RQ1 多层级GRNN架构能否有效建模对话行为分类中的句子级语义与长距离对话级依赖关系？
• RQ2 非文本特征（如笑声或停顿）在多大程度上能提升对短句和模糊语句的对话行为预测准确率？
• RQ3 将非文本特征与分层GRNN架构结合，与仅使用文本或上下文信号的模型相比，表现如何？
• RQ4 所提出的模型是否在SWDA基准上超越现有最先进方法，特别是在分类短句和依赖上下文的语句方面？
• RQ5 下层GRU（句子建模）、上层GRU（上下文建模）和非文本特征网络对整体性能的相对贡献如何？

主要发现

• 所提出的结合非文本特征的多层级GRNN在SWDA数据集上达到79.37%的准确率，较之前最先进方法（73.1%）绝对提升6.27个百分点。
• 仅使用上层GRNN结合非文本特征时，性能提升超过5%，表明其在捕捉长距离依赖关系中的关键作用。
• 与CNN基线相比，准确率提升11.12个百分点（68.25% vs. 79.37%），证明循环建模在序列化对话行为中的优越性。
• 引入非文本特征后，相比CNN准确率提升2.61%，相比单层GRNN提升2.15%，表明其在消歧短句中的价值。
• 该模型能正确将模糊短句如"Okay"分类为回应确认（bk），而单层GRNN基线则错误分类为"其他"（fo_o_fw_by_bc）。
• 消融研究证实多层级GRNN结构至关重要：CNN+GRNN变体准确率为77.14%，而完整多层级GRNN+非文本特征模型达到79.37%。