[论文解读] Discourse-Wizard: Discovering Deep Discourse Structure in your Conversation with RNNs

Chandrakant Bothe, Sven Magg+2 more|arXiv (Cornell University)|Jun 29, 2018

Topic Modeling参考文献 22被引用 6

一句话总结

本文介绍了 Discourse-Wizard，这是一个实时网络演示工具，利用两种基于 RNN 的模型——话语级模型和上下文感知模型——对对话中的对话行为进行分类。基于上下文的模型通过使用层次化 RNN 来整合先前话语，显著优于无上下文模型，在捕捉上下文敏感的语篇结构方面表现更优，这一结论在 Switchboard 语料库上的定性与定量对比中得到验证。

ABSTRACT

Spoken language understanding is one of the key factors in a dialogue system, and a context in a conversation plays an important role to understand the current utterance. In this work, we demonstrate the importance of context within the dialogue for neural network models through an online web interface live demo. We developed two different neural models: a model that does not use context and a context-based model. The no-context model classifies dialogue acts at an utterance-level whereas the context-based model takes some preceding utterances into account. We make these trained neural models available as a live demo called Discourse-Wizard using a modular server architecture. The live demo provides an easy to use interface for conversational analysis and for discovering deep discourse structures in a conversation.

研究动机与目标

• 通过神经网络演示对话上下文在对话行为识别中的关键作用。
• 开发并部署一个模块化、交互式的网络界面，实现实时对话分析。
• 比较无上下文 RNN 模型与上下文感知层次化 RNN 模型在对话行为分类中的性能表现。
• 为研究人员和实践者提供一个易于使用的工具，用于发现语篇结构并评估模型。
• 通过可扩展的服务器架构，实现多种对话行为模型的知识迁移与模块化集成。

提出的方法

• 无上下文模型使用单向 LSTM，仅基于单个话语对对话行为进行分类，词嵌入在训练过程中学习得到。
• 基于上下文的模型采用层次化 RNN（HRNN），处理多个先前话语，使用无上下文模型的隐藏状态作为输入，以捕捉话语层面的上下文信息。
• 模型架构使用 50 维词嵌入和 64 个 LSTM 隐藏单元，通过时间反向传播进行优化，损失函数为分类交叉熵，输出层使用 softmax。
• 网络界面基于 Django 构建，支持用户输入多轮对话，返回两个模型的预测结果，并以置信度分数形式展示。
• 采用模块化服务器架构，将网络界面与模型推理服务器分离，支持可扩展部署，并可集成多种模型。
• 系统支持单句和多轮对话输入，结果以可展开的表格形式呈现，显示前 3 名预测结果及其置信度水平。

实验结果

研究问题

• RQ1 与话语级分类相比，引入对话上下文在多大程度上提升了对话行为识别的准确率？
• RQ2 层次化 RNN 模型在多大程度上能够捕捉到在孤立分析时具有歧义的上下文敏感对话行为？
• RQ3 一个实时、交互式的网络演示能否有效展示并促进对真实对话中深层语篇结构的分析？
• RQ4 不同的话语上下文如何导致相同表面形式（如“Yeah.”）产生不同的对话行为分类？
• RQ5 在处理低置信度预测时，基于上下文的模型在处理模糊或稀疏语篇上下文方面存在哪些局限性？

主要发现

• 在是/否问题之后，基于上下文的模型将“Yeah.”正确分类为“是-回答”，而在陈述句之后则分类为“回应性反馈”，而无上下文模型则将两者均错误分类为“回应性反馈”。
• 无上下文模型无法区分表面形式相同但语篇功能不同的话语，凸显了上下文的必要性。
• 基于上下文的模型在正确分类中表现出更高的置信度，尤其在依赖上下文的语篇行为（如“否定回答”和“同意/接受”）上表现更优。
• 部分预测（如第 4 和第 6 个话语）置信度较低，表明模型在建模复杂或模糊的语篇依赖关系方面仍存在挑战。
• 系统成功表明，语篇结构并非仅由词汇内容决定，而是由序列性和上下文线索共同决定。
• 模块化服务器架构实现了模型的无缝部署，并为未来集成更多模型或语料库提供了可扩展性。