[论文解读] Active Learning for Visual Question Answering: An Empirical Study

Xiao Lin, Devi Parikh|arXiv (Cornell University)|Nov 6, 2017

Multimodal Machine Learning Applications参考文献 24被引用 18

一句话总结

本文在贝叶斯神经网络框架下，提出并评估了针对深度视觉问答（VQA）模型的主动学习策略——填鸭式、好奇心驱动式和目标驱动式。研究发现，模型需在经历30,000至50,000个训练样本后，才能有意义地选择信息量丰富的图文配对样本；此后，目标驱动式学习显著降低了标注成本，尤其在针对特定问题类型（如是/否问题）时效果更明显。

ABSTRACT

We present an empirical study of active learning for Visual Question Answering, where a deep VQA model selects informative question-image pairs from a pool and queries an oracle for answers to maximally improve its performance under a limited query budget. Drawing analogies from human learning, we explore cramming (entropy), curiosity-driven (expected model change), and goal-driven (expected error reduction) active learning approaches, and propose a fast and effective goal-driven active learning scoring function to pick question-image pairs for deep VQA models under the Bayesian Neural Network framework. We find that deep VQA models need large amounts of training data before they can start asking informative questions. But once they do, all three approaches outperform the random selection baseline and achieve significant query savings. For the scenario where the model is allowed to ask generic questions about images but is evaluated only on specific questions (e.g., questions whose answer is either yes or no), our proposed goal-driven scoring function performs the best.

研究动机与目标

• 探究深度VQA模型的主动学习策略，以在保持性能的同时减少昂贵的人工标注成本。
• 应对VQA中数据效率的挑战，因为大规模标注数据成本高昂，且由于长尾分布而常存在冗余。
• 探究主动学习是否能有效优先选择信息量丰富的图文配对样本，特别是针对罕见或常识推理类任务。
• 在贝叶斯神经网络框架下，评估不同查询策略（填鸭式、好奇心驱动式和目标驱动式）的有效性。
• 确定模型是否能够学会选择有助于提升特定下游任务（如是/否问题回答）性能的问题。

提出的方法

• 提出一种新颖的目标驱动式主动学习评分函数，基于贝叶斯神经网络框架下候选问题与测试问题之间的互信息。
• 采用基于熵的不确定性（填鸭式）和期望模型变化（好奇心驱动式）作为基线查询策略以供对比。
• 利用蒙特卡洛Dropout采样，在贝叶斯框架中估计不确定性与模型方差，以计算查询策略。
• 应用迭代式主动学习：模型从无标签数据池中选择前k个信息量最丰富的图文配对样本，向人工标注者（oracle）查询答案，并重新训练模型。
• 使用下游测试集的性能作为评估指标，在VQA v1.0和v2.0数据集上评估各策略。
• 实现批量选择，并通过高效近似方法计算互信息，以实现对大规模数据集的可扩展性。

实验结果

研究问题

• RQ1 深度VQA模型能否有效选择信息量丰富的图文配对样本用于主动学习？这一能力在何种规模下才变得可行？
• RQ2 在标注成本降低与性能提升方面，不同主动学习策略（填鸭式、好奇心驱动式与目标驱动式）之间的表现如何比较？
• RQ3 是否目标驱动式主动学习（聚焦于目标任务的相关性）优于基于不确定性的策略或基于模型变化的策略？
• RQ4 当模型仅在特定问题类型（如是/否问题）上进行评估时，主动学习能在多大程度上降低标注成本？
• RQ5 经过主动学习训练的模型，是否能达到仅提前查询最相关问题类型（如是/否问题）的“作弊”式被动基线模型的性能水平？

主要发现

• 深度VQA模型需经历30,000至50,000个训练样本后，才能开始选择信息量丰富的提问-图像配对；在此之前，主动学习并无优势。
• 一旦达到该阈值，三种主动学习策略（填鸭式、好奇心驱动式与目标驱动式）均优于随机选择，且显著降低了查询成本。
• 所提出的基于目标驱动的策略在下游任务聚焦于回答特定问题类型（如是/否问题）时表现最佳。
• 在第50轮迭代时，目标驱动策略已选择了VQA v2.0训练集中的50%（即83,749个）是/否问题，显示出对目标任务的强相关性。
• 目标驱动方法的性能几乎与仅查询是/否问题的“作弊”式被动基线模型相当，表明其在聚焦相关知识方面的有效性。
• 额外数据带来的性能提升在不同模型架构下均保持线性关系，表明主动学习可随着持续的数据收集持续带来性能增益。