[论文解读] Dynamic Time-Aware Attention to Speaker Roles and Contexts for Spoken Language Understanding

Po-Chun Chen, Ta-Chung Chi+2 more|arXiv (Cornell University)|Sep 30, 2017

Topic Modeling参考文献 19被引用 3

一句话总结

本文提出了一种时间感知、角色感知的注意力机制，用于对话式语音理解（SLU），在多轮对话中联合建模时间上下文与说话人角色。通过在历史话语上动态学习内容与说话人角色的相关注意力，该模型在DSTC4基准上提升了意图识别与槽位填充的性能，指南理解的F1达到77%，游客理解的F1达到70%。

ABSTRACT

Spoken language understanding (SLU) is an essential component in conversational systems. Most SLU component treats each utterance independently, and then the following components aggregate the multi-turn information in the separate phases. In order to avoid error propagation and effectively utilize contexts, prior work leveraged history for contextual SLU. However, the previous model only paid attention to the content in history utterances without considering their temporal information and speaker roles. In the dialogues, the most recent utterances should be more important than the least recent ones. Furthermore, users usually pay attention to 1) self history for reasoning and 2) others' utterances for listening, the speaker of the utterances may provides informative cues to help understanding. Therefore, this paper proposes an attention-based network that additionally leverages temporal information and speaker role for better SLU, where the attention to contexts and speaker roles can be automatically learned in an end-to-end manner. The experiments on the benchmark Dialogue State Tracking Challenge 4 (DSTC4) dataset show that the time-aware dynamic role attention networks significantly improve the understanding performance.

研究动机与目标

• 通过将多轮上下文直接整合到端到端学习中，解决流水线式SLU系统中的误差传播问题。
• 通过建模时间动态性（优先关注较新话语而非旧话语）来提升语音理解性能。
• 将说话人角色（用户 vs. 代理）作为关键信号，认识到用户与代理在对话推理中具有不同角色。
• 设计一种端到端注意力机制，动态加权内容、说话人角色与时间相关性，以实现更优的上下文编码。
• 证明结合内容感知、时间感知与角色感知注意力可显著提升复杂人与人对话中的性能。

提出的方法

• 使用双向LSTM将每个话语及其说话人角色编码为上下文表示。
• 应用多头注意力机制，基于内容、时间接近度与说话人角色，联合关注历史话语。
• 通过为更近期话语分配更高注意力权重，引入时间感知注意力，建模相关性随时间衰减的特性。
• 实现角色级别注意力，使模型能够以不同方式加权用户历史与代理历史，反映对话中不同认知角色的差异。
• 使用交叉熵损失端到端训练整个模型，以最小化预测结果与真实意图及槽位标签之间的差异。
• 在分层注意力模块中整合句子级、内容感知、时间感知与角色级别注意力机制，以提升上下文建模能力。

实验结果

研究问题

• RQ1 与静态上下文编码相比，建模对话历史中的时间动态性是否能提升语音理解性能？
• RQ2 在多轮对话中，引入说话人角色（用户 vs. 代理）如何影响模型对意图与槽位填充的理解能力？
• RQ3 一种同时考虑内容、时间与说话人角色的动态注意力机制，是否优于仅考虑其中一到两个因素的模型？
• RQ4 所学习的注意力权重在多大程度上与人类对对话关键上下文的直觉一致？
• RQ5 所提出的注意力机制能否泛化到多于两个说话人的对话中？

主要发现

• 所提出的时序感知注意力机制显著提升了SLU性能，指南理解的F1最高达到77%，游客理解的F1达到70%。
• 仅使用句子级注意力即可提升性能（游客理解的F1为68.3%），表明即使基础的上下文建模也有帮助。
• 角色级别注意力仅在与内容感知与时间感知线索结合时表现更优，表明仅依赖角色注意力本身精度不足。
• 在理解游客话语时，模型更关注指南历史（0.52 vs. 0.48），反映出倾听代理提示的必要性。
• 当仅使用同角色历史时，游客理解性能从68.3%下降至65.9%，证实跨角色上下文对准确理解至关重要。
• 当仅使用指南历史时，指南理解性能保持稳定（74.4%至73.8%），表明指南话语遵循可预测的模式，与用户历史无关。