[论文解读] A Simple Loss Function for Improving the Convergence and Accuracy of Visual Question Answering Models

Ilija Ilievski, Jiashi Feng|arXiv (Cornell University)|Aug 2, 2017

Multimodal Machine Learning Applications参考文献 18被引用 8

一句话总结

本文提出了一种用于视觉问答（VQA）的新型软交叉熵损失函数，该函数考虑了每个问题的所有真实答案，从而减少了训练损失与评估准确率之间的差异。通过根据每个合理答案的频率对其进行加权，该方法提高了训练收敛性，并在VQA v2.0基准上将VQA模型准确率最高提升了1.6%。

ABSTRACT

Visual question answering as recently proposed multimodal learning task has enjoyed wide attention from the deep learning community. Lately, the focus was on developing new representation fusion methods and attention mechanisms to achieve superior performance. On the other hand, very little focus has been put on the models' loss function, arguably one of the most important aspects of training deep learning models. The prevailing practice is to use cross entropy loss function that penalizes the probability given to all the answers in the vocabulary except the single most common answer for the particular question. However, the VQA evaluation function compares the predicted answer with all the ground-truth answers for the given question and if there is a matching, a partial point is given. This causes a discrepancy between the model's cross entropy loss and the model's accuracy as calculated by the VQA evaluation function. In this work, we propose a novel loss, termed as soft cross entropy, that considers all ground-truth answers and thus reduces the loss-accuracy discrepancy. The proposed loss leads to an improved training convergence of VQA models and an increase in accuracy as much as 1.6%.

研究动机与目标

• 为解决标准交叉熵损失与实际VQA评估指标之间的不匹配问题，后者会考虑多个正确答案。
• 通过在优化过程中更准确地反映真实评估标准，提高VQA模型的训练稳定性和收敛速度。
• 通过使损失函数更贴近VQA评估协议（即只要答案与至少三个人工标注匹配即可获得部分分），从而提升测试准确率。
• 提供一种简单、即插即用的损失函数，可在不改变网络架构的前提下提升多种VQA模型架构的性能。

提出的方法

• 所提出的软交叉熵损失函数对每个问题的所有唯一真实答案的个体交叉熵损失计算加权平均。
• 真实答案集合中的每个答案被赋予一个权重，即其频率除以答案总数（通常为10），以反映其为正确答案的可能性。
• 损失函数被定义为唯一答案的总和，其中每一项是该答案的标准交叉熵损失，乘以其频率权重。
• 该方法保留了标准交叉熵的公式结构，但将其扩展为同时考虑多个正确答案，而非仅最频繁的那个。
• 该方法与任何VQA模型架构兼容，可轻松集成到现有训练流程中。

实验结果

研究问题

• RQ1 标准交叉熵损失与VQA评估指标之间的差异如何影响模型的收敛性和准确率？
• RQ2 在损失函数中建模多个真实答案是否能带来更优的训练动态和最终性能？
• RQ3 对所有合理答案的交叉熵损失进行加权平均，是否能缩小训练损失与测试准确率之间的差距？
• RQ4 所提出的损失函数在不同VQA模型架构上的性能提升程度如何？

主要发现

• 与标准交叉熵相比，软交叉熵损失在AVG VQA模型上将平均验证准确率提高了1.2%，在POOL VQA模型上提高了1.6%。
• 该提升在所有答案类型中均保持一致：Yes/No、Number、Other以及整体平均值。
• 该方法稳定了训练过程，消除了使用标准交叉熵时观察到的异常现象——验证损失与准确率同时上升。
• 如图1和图2所示的训练与验证曲线表明，该损失函数可实现更快的收敛，损失和准确率趋势更加自然。