[论文解读] Image-Question-Answer Synergistic Network for Visual Dialog

Dalu Guo, Chang Xu+1 more|arXiv (Cornell University)|Feb 26, 2019

Multimodal Machine Learning Applications参考文献 32被引用 12

一句话总结

本文提出了一种两阶段图像-问题-答案协同网络，通过在协同阶段联合进行图像-问题-答案对齐以优化候选答案，从而提升视觉对话性能。通过使用上下文融合对高置信度答案进行重排序，该模型在 Visual Dialog v1.0 上实现了 57.88% 的 NDCG，显著优于单阶段基线模型，在判别式与生成式设置下均达到最先进水平。

ABSTRACT

The image, question (combined with the history for de-referencing), and the corresponding answer are three vital components of visual dialog. Classical visual dialog systems integrate the image, question, and history to search for or generate the best matched answer, and so, this approach significantly ignores the role of the answer. In this paper, we devise a novel image-question-answer synergistic network to value the role of the answer for precise visual dialog. We extend the traditional one-stage solution to a two-stage solution. In the first stage, candidate answers are coarsely scored according to their relevance to the image and question pair. Afterward, in the second stage, answers with high probability of being correct are re-ranked by synergizing with image and question. On the Visual Dialog v1.0 dataset, the proposed synergistic network boosts the discriminative visual dialog model to achieve a new state-of-the-art of 57.88\% normalized discounted cumulative gain. A generative visual dialog model equipped with the proposed technique also shows promising improvements.

研究动机与目标

• 为解决现有视觉对话模型中答案表征利用不足的问题，这些模型通常优先关注图像和问题特征，而忽视答案上下文。
• 通过实现图像、问题与答案语义的深层融合，克服对简短、安全答案（如“是”、“否”）的偏见。
• 通过引入基于温度的损失函数修改，缓解判别式训练中的类别不平衡问题，降低简单负样本的影响。
• 通过引入协同重排序阶段，提升判别式与生成式视觉对话模型的性能，借助多模态对齐增强答案相关性。
• 证明答案感知的重排序可生成更具描述性、准确性更高且上下文更一致的视觉对话响应。

提出的方法

• 该方法将单阶段视觉对话模型扩展为两阶段框架：第一阶段进行粗粒度候选答案评分，第二阶段通过协同机制实现细粒度重排序。
• 在协同阶段，候选答案通过联合编码图像、问题与答案，生成统一表征，实现上下文感知的相关性评分。
• 采用改进的 N-pair 损失并引入温度因子，降低简单负样本的影响，提升判别式设置下的泛化能力。
• 对于生成式模型，使用束搜索生成 30 个候选序列，随后通过协同模块进行重排序，以偏好更长、更具描述性的答案。
• 协同模块在答案与图像-问题特征之间执行交叉注意力，使模型能够检测语义差异并提升答案质量。
• 模型采用双路径编码器端到端训练：一条路径用于图像-问题融合，另一条路径用于第二阶段中答案-图像-问题的协同建模。

实验结果

研究问题

• RQ1 是否可以通过使用协同图像-问题-答案对齐机制对答案进行重排序的两阶段视觉对话框架，实现超越单阶段模型的性能？
• RQ2 通过联合表征学习显式建模答案相关性，是否能减少对简短、安全答案的偏见？
• RQ3 基于温度的正则化损失函数在多大程度上缓解了判别式视觉对话训练中的类别不平衡问题？
• RQ4 协同模块是否能通过偏好更具描述性与准确的答案而非简单高置信度词序列，提升生成式模型的性能？
• RQ5 协同重排序阶段是否能在判别式与生成式设置下，同时提升 MRR 与 top-k 召回率（R@k）？

主要发现

• 所提出的两阶段协同网络在 Visual Dialog v1.0 测试标准数据集上实现了新的最先进水平，NDCG 达到 57.88%。
• 在使用 N=10 个候选答案时，协同阶段相比第一阶段将平均倒数排名（MRR）提升了 2.61%；当 N=30 时，提升达 4.7%。
• 对于生成式模型，协同阶段相比仅使用第一阶段，将 R@5 提升 9.2%，R@10 提升 8.9%。
• 损失平衡的判别式模型相比非平衡基线模型将 MRR 提升 0.71%，而协同阶段进一步带来 0.91% 的额外提升。
• 定性分析表明，模型生成的答案更具描述性（例如，“white visor”而非“hat”），并避免了对常见二元答案词的过度依赖。
• 在某些情况下，模型生成的答案甚至比提供的真实答案更准确，例如“Just the legs of someone”优于“Part of a person”。