[论文解读] Context, Attention and Audio Feature Explorations for Audio Visual Scene-Aware Dialog

Shachi H Kumar, Eda Okur+4 more|arXiv (Cornell University)|Dec 20, 2018

Multimodal Machine Learning Applications参考文献 18被引用 9

一句话总结

本文提出了一种端到端的视听场景感知对话系统，通过主题建模、对话历史的多头注意力机制以及通过AclNet实现的端到端音频分类，增强了上下文理解能力。该方法在多个指标上优于基线模型，尤其在与音频相关的问答任务中表现更优，其中AclNet特征在通用和音频特定评估中均优于VGGish。

ABSTRACT

With the recent advancements in AI, Intelligent Virtual Assistants (IVA) have become a ubiquitous part of every home. Going forward, we are witnessing a confluence of vision, speech and dialog system technologies that are enabling the IVAs to learn audio-visual groundings of utterances and have conversations with users about the objects, activities and events surrounding them. As a part of the 7th Dialog System Technology Challenges (DSTC7), for Audio Visual Scene-Aware Dialog (AVSD) track, We explore `topics' of the dialog as an important contextual feature into the architecture along with explorations around multimodal Attention. We also incorporate an end-to-end audio classification ConvNet, AclNet, into our models. We present detailed analysis of the experiments and show that some of our model variations outperform the baseline system presented for this task.

研究动机与目标

• 通过引入对话主题建模，提升视听场景感知对话系统中的上下文感知能力。
• 通过在对话历史和多模态特征上应用多头注意力机制，提升响应生成质量。
• 探索通过AclNet实现端到端音频特征提取，以提升对话系统中的音频理解能力。
• 评估上下文特征和多模态特征对响应质量及二分类答案预测的影响。
• 比较AclNet与VGGish在音频相关对话轮次中的性能表现。

提出的方法

• 使用种子词对对话历史和问题进行主题建模，以识别潜在的对话主题。
• 对对话历史LSTM的隐藏状态应用多头注意力机制，使模型能够选择性关注相关的历史话语。
• 采用AclNet（一个50类端到端音频分类卷积神经网络）从原始音频特征中提取音频嵌入。
• 将注意力机制扩展至同时关注对话历史状态和多模态音频/视频特征。
• 将主题表征、对话历史状态和音频特征整合到统一的编码器-解码器框架中，并引入交叉注意力机制。
• 采用二分类答案评估方法，以衡量模型在是/否问题上的性能表现，尤其关注与音频相关的查询。

实验结果

研究问题

• RQ1 基于种子词的主题建模能否提升视听对话系统中的上下文理解能力？
• RQ2 与仅依赖LSTM最终隐藏状态相比，对对话历史多个隐藏状态应用注意力机制是否能提升响应生成质量？
• RQ3 通过AclNet实现的端到端音频分类能否在场景感知对话任务中超越传统的音频嵌入方法（如VGGish）？
• RQ4 不同注意力机制（仅关注历史 vs. 历史+音频特征）对响应质量和答案准确率有何影响？
• RQ5 与基线模型相比，引入音频特定特征是否能提升在音频相关问题上的性能表现？

主要发现

• 在对话历史LSTM所有隐藏状态上应用注意力机制的模型，在BLEU3、BLEU4、METEOR、CIDEr和ROUGE等指标上均优于基线模型。
• 采用历史状态与多模态特征联合注意力的配置在CIDEr指标上表现更优，但在二分类答案评估中性能略有下降，相较于仅关注历史状态的变体。
• AclNet特征在所有评估指标上均优于基线模型，且在音频相关问题子集上表现优于VGGish。
• 定性分析表明，B+AclNet能正确回答“视频中是否有声音？”这一问题，而B+VGGish则失败，且AclNet更好地捕捉了“打喷嚏”等细微音频事件。
• 使用种子词的主题建模相比基线模型提升了整体性能，表明引导式主题建模有助于增强上下文对齐能力。
• 采用AclNet和历史状态注意力机制的模型在整体性能上表现最佳，尤其在音频特定查询上优势显著。