[论文解读] From FiLM to Video: Multi-turn Question Answering with Multi-modal Context

Dat Tien Nguyen, Shikhar Sharma+2 more|arXiv (Cornell University)|Dec 17, 2018

Multimodal Machine Learning Applications参考文献 29被引用 18

一句话总结

该论文提出FA-HRED，一种基于FiLM条件化音视频特征提取的层次化编码器-解码器模型，用于多轮视频问答。通过使用FiLM模块将I3D和VGGish特征基于当前问题进行条件化，并采用调度采样策略，该模型在AVSD基准上实现了16%的BLEU-4相对提升以及超过33%的CIDEr提升，证明了其在对话系统中对多模态上下文融合的优越性。

ABSTRACT

Understanding audio-visual content and the ability to have an informative conversation about it have both been challenging areas for intelligent systems. The Audio Visual Scene-aware Dialog (AVSD) challenge, organized as a track of the Dialog System Technology Challenge 7 (DSTC7), proposes a combined task, where a system has to answer questions pertaining to a video given a dialogue with previous question-answer pairs and the video itself. We propose for this task a hierarchical encoder-decoder model which computes a multi-modal embedding of the dialogue context. It first embeds the dialogue history using two LSTMs. We extract video and audio frames at regular intervals and compute semantic features using pre-trained I3D and VGGish models, respectively. Before summarizing both modalities into fixed-length vectors using LSTMs, we use FiLM blocks to condition them on the embeddings of the current question, which allows us to reduce the dimensionality considerably. Finally, we use an LSTM decoder that we train with scheduled sampling and evaluate using beam search. Compared to the modality-fusing baseline model released by the AVSD challenge organizers, our model achieves a relative improvements of more than 16%, scoring 0.36 BLEU-4 and more than 33%, scoring 0.997 CIDEr.

研究动机与目标

• 为解决多模态、多轮视频问答任务，通过有效整合视觉、音频与文本上下文。
• 通过联合建模对话历史与视频上下文，利用层次化循环网络提升在AVSD基准上的性能。
• 通过基于FiLM的特征条件化方法，在低资源环境下减少过拟合并增强模态融合。
• 评估辅助视频摘要与模态特定特征提取在对话生成中的有效性。

提出的方法

• 采用层次化编码器-解码器（HRED）框架，使用独立的LSTM分别建模问题与回答的对话历史。
• 利用预训练的I3D与VGGish模型，以固定时间间隔提取视频与音频特征。
• 应用FiLM模块，将视频与音频特征基于当前问题嵌入进行条件化，实现模态特定、问题感知的特征表示。
• 引入时序扩展的FiLM模块，使FiLM能够适应多帧视频特征的时间动态。
• 采用调度采样训练解码器以提升泛化能力，并在推理阶段使用束搜索。
• 引入辅助多任务解码器以生成视频摘要，从而提升下游问答任务的上下文表征质量。

实验结果

研究问题

• RQ1 如何有效将音视频特征基于当前问题进行条件化，以提升视频问答性能？
• RQ2 与拼接或平均方法相比，基于FiLM的特征条件化在多模态融合中的影响如何？
• RQ3 调度采样在多轮视频对话系统中对训练稳定性和性能的影响是什么？
• RQ4 与文本和摘要信号相比，视频与音频特征对性能的贡献程度如何？
• RQ5 辅助视频摘要能否提升多轮视频问答中答案生成的质量？

主要发现

• 在官方AVSD测试集上，FA-HRED模型相较于基线模型，BLEU-4相对提升16%（绝对提升0.36），CIDEr提升超过33%（绝对提升0.997）。
• 使用FiLM进行模态条件化在所有设置下均一致提升性能，并在融合多样化模态时有效减少过拟合。
• 视频特征（I3D）对性能的贡献显著高于音频特征（VGGish），表明视觉模态具有更高的信息密度。
• 使用视频摘要的模型优于使用图像描述的模型，表明摘要信号在对话任务中比原始图像级描述更有效。
• 消融实验表明，结合文本、视频与摘要组件并采用FiLM融合的模型性能最高（BLEU-4为0.1052），优于非FiLM融合方法（BLEU-4为0.1007）。
• 与教师强制训练相比，调度采样使验证集性能提升0.004 BLEU-4，表明其在序列生成任务中具有更好的泛化能力。