[论文解读] Dialog System Technology Challenge 7

Koichiro Yoshino, Chiori Hori+15 more|arXiv (Cornell University)|Jan 11, 2019

Multimodal Machine Learning Applications参考文献 28被引用 27

一句话总结

本文介绍了第七届对话系统技术挑战赛（DSTC7），引入了三个新赛道：句子选择、基于知识增强的句子生成，以及视听场景感知对话。该研究在人类对人类对话数据集上评估了端到端模型，通过层次注意力机制与多模态融合技术，取得了当前最优结果，最佳系统相较基线模型在人类评分的响应质量上提升了22%。

ABSTRACT

This paper introduces the Seventh Dialog System Technology Challenges (DSTC), which use shared datasets to explore the problem of building dialog systems. Recently, end-to-end dialog modeling approaches have been applied to various dialog tasks. The seventh DSTC (DSTC7) focuses on developing technologies related to end-to-end dialog systems for (1) sentence selection, (2) sentence generation and (3) audio visual scene aware dialog. This paper summarizes the overall setup and results of DSTC7, including detailed descriptions of the different tracks and provided datasets. We also describe overall trends in the submitted systems and the key results. Each track introduced new datasets and participants achieved impressive results using state-of-the-art end-to-end technologies.

研究动机与目标

• 通过引入超越传统任务导向对话的、更真实且复杂的任务，推动端到端对话系统的发展。
• 在人类对人类对话语境中评估响应选择，采用可扩展的候选集与改写变体。
• 开发基于外部知识的响应生成模型，以生成多样化、上下文恰当的响应。
• 构建端到端的视听对话系统，能够结合视觉与语言信息，对动态视频内容生成上下文准确的响应。
• 为未来多模态与多任务对话系统研究建立大规模、公开可用的基准。

提出的方法

• 将响应生成建模为句子选择任务，包含100至120,000个候选响应的多个子任务，涵盖改写与空选项。
• 使用LSTM编码器处理对话历史、问题与视觉特征，并通过层次注意力机制融合文本与视频输入。
• 应用多模态注意力机制（如Libovickỳ & Helcl, 2017；Lu et al., 2016）联合编码视觉与语言特征，用于响应生成。
• 采用交叉熵损失，基于GRU、BLSTM与LSTM架构，在文本与视频特征上端到端训练模型。
• 将视觉问答（VQA）与视频描述技术整合到统一的多模态对话框架中。
• 通过自动指标（BLEU、METEOR、ROUGE-L、CIDEr）与人类标注的五分制评分（自然性、信息量与正确性）评估输出。

实验结果

研究问题

• RQ1 当面对大规模候选集时，端到端模型在开放域人类对人类对话中对正确响应的排序能力如何？
• RQ2 基于知识的响应生成模型是否能够生成多样化、上下文恰当且信息丰富的响应，而不仅限于闲聊？
• RQ3 多模态模型在多大程度上能够整合视觉与语言信号，以生成关于动态视频内容的准确、场景感知的对话响应？
• RQ4 层次注意力与协同注意力机制在视频对话系统中如何提升多模态理解与响应生成能力？
• RQ5 在复杂多模态任务中，自动指标与人类判断之间的差距有多大？

主要发现

• 在视听场景感知对话（AVSD）赛道中，最佳系统的评分为3.491，相较基线系统2.848的评分提升了22%。
• 最佳系统的CIDEr得分为1.094，显著高于基线的0.746，表明其与人类参考响应的对齐程度更高。
• 最佳系统采用层次注意力与协同注意力机制融合文本与视觉特征，优于简单的RNN模型。
• 人工评估显示，BLEU-4与METEOR等自动指标与人类判断存在中等相关性，但不足以单独预测质量。
• 句子选择赛道表明，即使在大规模候选集（最多120,000个候选）下，模型仍能有效排序正确响应，且在各子任务中表现优异。
• 句子生成赛道表明，知识增强模型生成的响应比基线闲聊模型更具信息量与上下文相关性，尤其在引入外部知识后表现更优。