[论文解读] Hierarchical Dialogue Understanding with Special Tokens and Turn-level Attention

Xiao Liu, Jian Zhang+3 more|arXiv (Cornell University)|Apr 29, 2023

Topic Modeling被引用 6

一句话总结

本文提出 HiDialog，一种简单而有效的层次化对话理解方法，通过使用特殊标记和回合级注意力机制，在无需额外预训练的情况下捕捉回合内语义。通过在对话中插入特定于回合的特殊标记，并在自注意力机制中应用回合级掩码，HiDialog 在多个基准测试中实现了对话关系抽取、情感识别和对话行为分类任务的最先进性能，F1 分数最高优于先前模型 4%。

ABSTRACT

Compared with standard text, understanding dialogue is more challenging for machines as the dynamic and unexpected semantic changes in each turn. To model such inconsistent semantics, we propose a simple but effective Hierarchical Dialogue Understanding model, HiDialog. Specifically, we first insert multiple special tokens into a dialogue and propose the turn-level attention to learn turn embeddings hierarchically. Then, a heterogeneous graph module is leveraged to polish the learned embeddings. We evaluate our model on various dialogue understanding tasks including dialogue relation extraction, dialogue emotion recognition, and dialogue act classification. Results show that our simple approach achieves state-of-the-art performance on all three tasks above. All our source code is publicly available at https://github.com/ShawX825/HiDialog.

研究动机与目标

• 为解决多轮对话中动态且不一致的语义建模挑战，这些挑战常被标准预训练语言模型所忽略。
• 在无需额外预训练或计算成本的前提下，弥合通用预训练与对话特定微调之间的差距。
• 开发一种轻量级、即插即用的解决方案，通过层次化建模回合级表示来增强对话理解能力。
• 提升关键对话理解任务（如关系抽取、情感识别和对话行为分类）的性能。

提出的方法

• 在每轮对话中插入特殊标记 [T] 以表示回合级语义单元，从而实现在单个回合内的聚焦注意力。
• 通过屏蔽当前回合外的标记来应用回合级注意力，确保每个回合的表示在上下文中具有感知能力且与其他回合隔离。
• 模型使用标准 BERT 风格编码器，其注意力机制经过修改，仅在编码特殊标记时将计算限制在当前回合内。
• 通过专用嵌入编码说话人身份，并与输入标记拼接，以保留说话人感知的上下文信息。
• 在编码后应用异质图神经网络模块，以在回合之间传播和精炼信息，增强跨回合理解能力。
• 最终分类头使用 [CLS] 标记的表示进行下游任务预测，保持与标准微调的兼容性和简洁性。

Figure 1: Illustration of the proposed intra-turn modeling. In the turn-level attention, the restriction is applied on turn-level special tokens, denoted as $[T]$ , where tokens outside the turn are masked out (colored in grey).

实验结果

研究问题

• RQ1 通过聚焦于回合级语义，一种简单且无需预训练的方法能否在对话理解中实现最先进性能？
• RQ2 使用特殊标记的回合级注意力与全局 [CLS] 或平均池化相比，在捕捉回合内信息方面表现如何？
• RQ3 所提出的方法是否能在关系抽取、情感识别和对话行为分类等多样化对话理解任务中实现泛化？
• RQ4 该方法在对话长度增加时的鲁棒性如何，尤其与在长序列上性能下降的模型相比？
• RQ5 异质图模块在提升长对话或复杂对话性能方面有何贡献？

主要发现

• HiDialog 在 DialogRE 数据集上达到最先进性能，F1 比先前最先进模型（TUCORE-GCN）高出 4%，F1_c 高出 2.3%。
• 在 MELD 数据集上，HiDialog 在情感识别任务中加权 F1 比 TUCORE-GCN 高出 1.5%。
• 消融实验表明，若移除回合级注意力，F1 下降 1.5%，F1_c 下降 0.8%，证实其在上下文感知回合表示中的关键作用。
• HiDialog 在所有对话长度组中均保持强劲性能，尤其在对话 token 数少于 100 的情况下，与 TUCORE-GCN 的性能差距最大。
• 该模型在长对话中表现出更强的鲁棒性，而 TUCORE-GCN 在序列长度超过 500 token 后性能显著下降。
• 异质图模块在处理非对称关系时尤为有效，而其移除导致对称与非对称关系性能趋势发生反转。

Figure 2: Analysis of robustness of HiDialog tackling increasing utterance length compared to baseline TUCORE-GCN on DialogRE dataset.