[论文解读] Modality-Balanced Models for Visual Dialogue

Hyounghun Kim, Hao Tan+1 more|arXiv (Cornell University)|Jan 17, 2020

Multimodal Machine Learning Applications参考文献 26被引用 6

一句话总结

本文通过结合仅图像模型与图像-历史联合模型，提出用于视觉对话的模态平衡模型，以缓解联合模型对对话历史的过度依赖。通过共识丢弃融合与集成方法，该方法在视觉对话2019排行榜上达到最先进性能，在NDCG、MRR和召回率指标上均实现平衡，且在多数指标上超越2018年冠军模型。

ABSTRACT

The Visual Dialog task requires a model to exploit both image and conversational context information to generate the next response to the dialogue. However, via manual analysis, we find that a large number of conversational questions can be answered by only looking at the image without any access to the context history, while others still need the conversation context to predict the correct answers. We demonstrate that due to this reason, previous joint-modality (history and image) models over-rely on and are more prone to memorizing the dialogue history (e.g., by extracting certain keywords or patterns in the context information), whereas image-only models are more generalizable (because they cannot memorize or extract keywords from history) and perform substantially better at the primary normalized discounted cumulative gain (NDCG) task metric which allows multiple correct answers. Hence, this observation encourages us to explicitly maintain two models, i.e., an image-only model and an image-history joint model, and combine their complementary abilities for a more balanced multimodal model. We present multiple methods for this integration of the two models, via ensemble and consensus dropout fusion with shared parameters. Empirically, our models achieve strong results on the Visual Dialog challenge 2019 (rank 3 on NDCG and high balance across metrics), and substantially outperform the winner of the Visual Dialog challenge 2018 on most metrics.

研究动机与目标

• 探究当前视觉对话多模态模型为何过度依赖对话历史，以及这种依赖对NDCG等泛化指标的影响。
• 分析仅图像模型（泛化能力更强）与图像-历史联合模型（精度更高）在视觉对话任务中的互补优势。
• 开发一种整合两类模型的平衡多模态模型，以在多个评估指标上实现更优且更均衡的性能。
• 通过实证验证：减少对对话历史的依赖可提升泛化能力，尤其在NDCG指标上，该指标通过相似性权重考虑多个正确答案。
• 提出并评估融合技术——共识丢弃融合与集成方法——以有效结合仅图像模型与联合模型。

提出的方法

• 训练一个专用的仅图像模型，仅使用视觉特征回答问题，由于减少了对对话模式的记忆，其在NDCG指标上表现优异。
• 训练不同长度对话历史的图像-历史联合模型，以分析历史依赖对模型行为及指标得分的影响。
• 实施共识丢弃融合，即在训练期间对仅图像模型和联合模型的输出logits应用dropout，以促进多样性并减少对历史模式的过拟合。
• 使用集成学习方法，结合三个仅图像模型与三个联合模型的预测结果，以利用两类模型的互补优势。
• 在训练过程中应用循环丢弃（round dropout），随机丢弃对话历史特征，以减少对历史模式的记忆，提升对不同上下文长度的鲁棒性。
• 通过调整dropout率（最终选定为0.25）优化融合过程，以在NDCG与基于精度的指标（如MRR和recall@k）之间实现性能平衡。

实验结果

研究问题

• RQ1 当前视觉对话模型在多大程度上过度依赖对话历史？这种依赖如何影响其在泛化指标与精度指标之间的表现？
• RQ2 在不同评估指标下，仅图像模型与图像-历史联合模型的表现如何比较，特别是NDCG与MRR、recall@k之间的差异？
• RQ3 通过共识丢弃融合或集成方法结合仅图像模型与联合模型，能否在所有指标上实现更均衡且更优的性能？
• RQ4 在训练过程中应用循环丢弃是否能缓解对对话历史模式的记忆，从而提升联合模型的泛化能力？
• RQ5 何种最优融合策略（如dropout率、模型组合）能最大化在NDCG、MRR与召回率指标上的综合平衡性能？

主要发现

• 仅图像模型在VisDial v1.0测试集上取得57.81的NDCG得分，优于联合模型，表明其因避免记忆历史模式而具备更好的泛化能力。
• 采用0.25 dropout率的共识丢弃融合模型取得59.93的NDCG得分，较基线模型提升2.12分，同时在MRR与召回率指标上保持优异表现。
• 结合仅图像模型与联合模型的集成模型（Img+Joint）取得61.50的NDCG与65.04的MRR，优于2018年视觉对话挑战赛冠军在多数指标上的表现。
• Img+Img集成模型（三个仅图像模型）取得最高NDCG（61.97），而Joint+Joint集成模型取得最高MRR（65.60），证实两类模型具有互补性。
• 循环丢弃使NDCG提升1.2分（从58.97提升至60.11），并通过减少对历史模式的过拟合增强了模型鲁棒性。
• 最终的共识丢弃融合模型在视觉对话2019排行榜中位列第3，多数指标上超越2018年挑战赛冠军，且在所有评估标准上保持均衡表现。