[论文解读] A Contextual Hierarchical Attention Network with Adaptive Objective for Dialogue State Tracking

Yong Shan, Zekang Li+5 more|arXiv (Cornell University)|Jun 2, 2020

Speech and dialogue systems参考文献 42被引用 9

一句话总结

该论文提出了一种具有自适应目标的上下文层次注意力网络，通过在词级和轮次级上建模槽与对话历史之间的多层次交互，同时通过可学习的损失加权动态解决槽不平衡问题，从而提升对话状态追踪（DST）性能。该方法在MultiWOZ 2.0和2.1上分别实现了52.68%和58.55%的联合准确率，达到当前最先进水平。

ABSTRACT

Recent studies in dialogue state tracking (DST) leverage historical information to determine states which are generally represented as slot-value pairs. However, most of them have limitations to efficiently exploit relevant context due to the lack of a powerful mechanism for modeling interactions between the slot and the dialogue history. Besides, existing methods usually ignore the slot imbalance problem and treat all slots indiscriminately, which limits the learning of hard slots and eventually hurts overall performance. In this paper, we propose to enhance the DST through employing a contextual hierarchical attention network to not only discern relevant information at both word level and turn level but also learn contextual representations. We further propose an adaptive objective to alleviate the slot imbalance problem by dynamically adjust weights of different slots during training. Experimental results show that our approach reaches 52.68% and 58.55% joint accuracy on MultiWOZ 2.0 and MultiWOZ 2.1 datasets respectively and achieves new state-of-the-art performance with considerable improvements (+1.24% and +5.98%).

研究动机与目标

• 为解决现有DST方法在多层次上建模槽与对话历史交互方面的局限性。
• 缓解槽不平衡问题，即罕见或难以学习的槽在训练中代表性不足。
• 通过整合词级和轮次级注意力机制，增强上下文表征学习。
• 通过动态损失加权策略，根据槽的难度自适应调整训练过程，从而提升整体DST性能。

提出的方法

• 设计了一种上下文层次注意力网络，以捕捉对话历史中词级和轮次级的交互。
• 模型采用多头注意力机制，根据当前槽动态关注相关词语和对话轮次。
• 通过在两个层级上堆叠自注意力和前馈网络层，学习上下文表征。
• 引入自适应目标函数，在训练过程中为每个槽学习实例特定的损失权重，以减轻类别不平衡的影响。
• 自适应损失根据每个槽的难度动态调整其对总损失的贡献，从而改善对罕见或困难槽的学习。
• 整个框架通过交叉熵损失与可学习槽权重进行端到端训练，以优化联合状态追踪性能。

实验结果

研究问题

• RQ1 多层级注意力机制在对话状态追踪中如何改善相关上下文的建模？
• RQ2 自适应损失函数在多大程度上能够缓解DST中的槽不平衡问题？
• RQ3 具有动态损失加权的层次注意力能否在标准和具有挑战性的DST基准上均带来一致的性能提升？
• RQ4 在MultiWOZ 2.0和2.1上，所提出方法与现有SOTA方法相比，联合准确率表现如何？

主要发现

• 所提方法在MultiWOZ 2.0数据集上实现了52.68%的联合准确率，相较于之前SOTA方法提升了+1.24%。
• 在MultiWOZ 2.1数据集上，模型达到58.55%的联合准确率，相较于先前方法显著提升了+5.98%。
• 自适应目标有效缩小了易槽与难槽之间的性能差距，改善了代表性不足槽类型的学效率。
• 层次注意力机制通过捕捉细粒度的词级依赖和粗粒度的轮次级依赖，实现了更优的上下文建模。
• 该模型在两个数据集上均表现出一致的性能提升，验证了所提架构与训练目标的有效性。