[论文解读] FlipDial: A Generative Model for Two-Way Visual Dialogue

Daniela Massiceti, N. Siddharth+2 more|arXiv (Cornell University)|Feb 11, 2018

Multimodal Machine Learning Applications参考文献 24被引用 16

一句话总结

FlipDial 提出了一种基于生成式卷积神经网络的模型，用于双向视觉对话，使单一智能体能够基于图像及其描述交替生成问题与回答。该模型在单向视觉对话（1vd）任务中达到最先进性能，并为双向视觉对话（2vd）建立了首个基线，引入了评估问题相关性和潜在对话多样性的新指标。

ABSTRACT

We present FlipDial, a generative model for visual dialogue that simultaneously plays the role of both participants in a visually-grounded dialogue. Given context in the form of an image and an associated caption summarising the contents of the image, FlipDial learns both to answer questions and put forward questions, capable of generating entire sequences of dialogue (question-answer pairs) which are diverse and relevant to the image. To do this, FlipDial relies on a simple but surprisingly powerful idea: it uses convolutional neural networks (CNNs) to encode entire dialogues directly, implicitly capturing dialogue context, and conditional VAEs to learn the generative model. FlipDial outperforms the state-of-the-art model in the sequential answering task (one-way visual dialogue) on the VisDial dataset by 5 points in Mean Rank using the generated answers. We are the first to extend this paradigm to full two-way visual dialogue, where our model is capable of generating both questions and answers in sequence based on a visual input, for which we propose a set of novel evaluation measures and metrics.

研究动机与目标

• 开发一种统一的生成式模型，能够同时在视觉对话中回答和提出问题，突破仅限于单向回答的模型限制。
• 实现实时、自回归的对话生成，其中测试时使用预测的对话历史，模拟真实部署场景。
• 提出并验证适用于双向视觉对话的新评估指标，解决此类模型缺乏标准化基准的问题。
• 探索卷积神经网络在建模对话轮次间序列依赖关系方面的有效性，隐式捕捉上下文信息。
• 证明基于 CNN 的序列编码的条件变分自编码器（cVAEs）能够生成多样化、语义连贯且上下文相关的对话。

提出的方法

• FlipDial 使用条件变分自编码器（cVAE）框架，基于图像、描述和对话历史，学习视觉对话的深层生成模型。
• 采用卷积神经网络（CNNs）将整个对话序列编码为张量，隐式建模跨轮次的长距离依赖关系与上下文信息。
• 通过从潜在变量的条件先验中采样，自回归地生成答案与问题，推理过程通过训练数据进行近似优化。
• 在双向对话（2vd）中，模型通过单次前向传播交替生成问题与答案，条件基于图像、描述和先前对话历史。
• 提出两种新型评估指标：$\text{sim}_{\bm{c},\bm{q}}$，用于衡量生成问题与图像描述之间的语义相似度；$\text{sim}_{\circlearrowleft}$，用于衡量生成对话与真实对话在潜在空间中的 KL 散度。
• 模型在测试时使用预测（而非真实）对话历史进行训练与评估，增强了实际应用价值。

实验结果

研究问题

• RQ1 单一生成式模型能否有效在视觉对话中交替提出问题与回答，同时保持连贯性与相关性？
• RQ2 基于 CNN 的序列编码方法在建模视觉对话中跨轮次的序列依赖关系方面有多有效？
• RQ3 随着自回归深度的增加，其对双向视觉对话中生成对话的多样性与质量提升程度如何？
• RQ4 像 $\text{sim}_{\bm{c},\bm{q}}$ 和 $\text{sim}_{\circlearrowleft}$ 这类新型自动指标能否可靠评估生成视觉对话的质量，特别是在双向设置中？
• RQ5 在测试时使用预测对话历史（而非真实）是否会对模型性能产生不利影响，模型在该约束下是否仍能生成高质量对话？

主要发现

• FlipDial 在 VisDial 1vd 基准上使用生成答案实现平均排名（Mean Rank）14.8，比之前最先进模型高出 5 分。
• 该模型为双向视觉对话（2vd）设立了新的最先进基线，这是此前文献中尚未以统一生成框架解决的任务。
• 当自回归层数量从 8 增加到 10 时，潜在对话分散度指标 $\text{sim}_{\circlearrowleft}$ 从 31.50 上升至 44.34，表明生成对话的多样性得到提升。
• 问题相关性指标 $\text{sim}_{\bm{c},\bm{q}}$ 在各类模型中表现稳定，数值维持在 0.41–0.49 之间，表明生成问题与图像描述在语义上高度一致。
• 在迭代评估（使用预测历史）中，交叉熵损失从 31.18（B 模型）降至 24.93（B_AR10），表明在真实测试条件下，更深的自回归建模可提升生成质量。
• 定性分析表明，FlipDial 生成的问答对具有多样性、连贯性与上下文相关性，大多数生成结果无明显重复或无意义输出。