[论文解读] Improving Frame Semantic Parsing with Hierarchical Dialogue Encoders.

Ankur Bapna, Gökhan Tür+2 more|arXiv (Cornell University)|May 8, 2017

Topic Modeling参考文献 19被引用 4

一句话总结

该论文提出了一种分层对话编码器网络（HDEN），通过基于RNN的架构按时间顺序建模多轮对话历史，提升了对话式语言理解中的框架语义解析性能。实验表明，与仅使用上一轮对话或不保留话语顺序的记忆网络相比，HDEN能有效降低语义框架错误率。

ABSTRACT

Conversational Language Understanding (CLU) is a key component of goal oriented dialogue systems that would parse user utterances into semantic frame representations. Traditionally CLU does not utilize the dialogue history beyond the previous system turn and contextual ambiguities are resolved by the downstream components. In this paper, we explore novel approaches for modeling dialogue context in a recurrent neural network (RNN) based language understanding system. We propose the Hierarchical Dialogue Encoder Network, that allows encoding context from the dialogue history in chronological order. We compare the performance of our proposed architecture with two context models, one that uses just the previous turn context and another that encodes dialogue context in a memory network, but loses the order of utterances in the dialogue history. Experiments with a multi-domain dialogue dataset demonstrate that the proposed architecture results in reduced semantic frame error rates.

研究动机与目标

• 解决现有对话式语言理解系统仅依赖上一轮系统话语作为上下文的局限性。
• 以保留话语时间顺序的方式建模完整的对话历史。
• 通过利用更丰富、有序的对话上下文提升框架解析中的语义框架错误率。
• 将所提出的分层编码器与基线上下文建模方法进行比较。

提出的方法

• 设计一种基于RNN的分层编码器，按时间顺序处理对话历史，捕捉长距离依赖关系。
• 采用两级编码机制：先进行话语级编码，再进行对话级编码，以分层方式建模上下文。
• 将编码后的对话上下文整合到框架语义解析模型中，以提升理解能力。
• 使用带有语义框架标注的多领域对话数据集，端到端训练整个系统。
• 将所提出的模型与两种基线模型进行比较：一种仅使用上一轮话语上下文，另一种使用不保留话语顺序的记忆网络。

实验结果

研究问题

• RQ1 按时间顺序建模对话历史是否能提升对话式语言理解中框架语义解析的性能？
• RQ2 所提出的分层编码器与仅使用上一轮话语上下文的模型相比表现如何？
• RQ3 在对话历史中保留话语顺序是否能相比失去顺序信息的记忆网络，带来更好的语义框架歧义消解？
• RQ4 分层上下文建模对降低语义框架错误率有何影响？

主要发现

• 所提出的分层对话编码器网络（HDEN）在语义框架错误率方面优于仅使用上一轮话语上下文的模型。
• 该模型在不保留对话话语时间顺序的记忆网络方法上表现更优。
• 对对话历史进行分层编码有助于更好地解决框架解析中的上下文歧义。
• 该改进在多领域对话数据集的多个领域中均保持一致。