[论文解读] Empirical performance upper bounds for image and video captioning

Li Yao, Nicolas Ballas+3 more|arXiv (Cornell University)|Nov 14, 2015

Multimodal Machine Learning Applications参考文献 40被引用 4

一句话总结

本文通过将任务分解为视觉概念提取和语言生成，提出了图像和视频字幕生成的实证性能上限。假设视觉概念检测完美，并训练一个简单的条件语言模型，作者在MS-COCO、YouTube2Text和LSMDC数据集上建立了上限，揭示了当前最先进模型仍存在差距，并量化了模型容量与准确率之间的权衡，以及数据集的难度。

ABSTRACT

The task of associating images and videos with a natural language description has attracted a great amount of attention recently. Rapid progress has been made in terms of both developing novel algorithms and releasing new datasets. Indeed, the state-of-the-art results on some of the standard datasets have been pushed into the regime where it has become more and more difficult to make significant improvements. Instead of proposing new models, this work investigates the possibility of empirically establishing performance upper bounds on various visual captioning datasets without extra data labelling effort or human evaluation. In particular, it is assumed that visual captioning is decomposed into two steps: from visual inputs to visual concepts, and from visual concepts to natural language descriptions. One would be able to obtain an upper bound when assuming the first step is perfect and only requiring training a conditional language model for the second step. We demonstrate the construction of such bounds on MS-COCO, YouTube2Text and LSMDC (a combination of M-VAD and MPII-MD). Surprisingly, despite of the imperfect process we used for visual concept extraction in the first step and the simplicity of the language model for the second step, we show that current state-of-the-art models fall short when being compared with the learned upper bounds. Furthermore, with such a bound, we quantify several important factors concerning image and video captioning: the number of visual concepts captured by different models, the trade-off between the amount of visual elements captured and their accuracy, and the intrinsic difficulty and blessing of different datasets.

研究动机与目标

• 在无需额外标注或人工评估的情况下，建立视觉字幕生成的性能上限。
• 探究当前最先进模型与图像和视频字幕生成理论性能极限之间的差距。
• 量化现有模型捕捉的视觉概念数量，以及覆盖率与准确率之间的权衡。
• 分析不同字幕数据集的内在难度及潜在的'福音'效应。
• 基于视觉概念和语言模型，提供一种最小化、可扩展的方法作为模型性能的基准。

提出的方法

• 将视觉字幕生成任务分解为两个阶段：视觉概念提取和语言生成。
• 将从图像/视频中完美提取视觉概念作为第一阶段的代理。
• 在提取的视觉概念上训练一个条件语言模型以生成字幕。
• 利用此两阶段设置，估算字幕生成性能的实证上限。
• 将该方法应用于三个数据集：MS-COCO、YouTube2Text和LSMDC（M-VAD + MPII-MD）。
• 使用标准指标评估上限，并与实际最先进模型的性能进行比较。

实验结果

研究问题

• RQ1 当前模型在图像和视频字幕生成中能多接近理论性能上限？
• RQ2 视觉概念的覆盖率和准确率对最终字幕生成性能有何影响？
• RQ3 在内在难度和模型潜力方面，不同数据集（MS-COCO、YouTube2Text、LSMDC）之间有何差异？
• RQ4 当前最先进模型在多大程度上未能充分利用视觉概念，与上限相比？
• RQ5 在提取的概念上训练的简单语言模型，能否作为性能上限的可靠代理？

主要发现

• 最先进模型的性能显著低于该方法所建立的实证上限。
• 尽管视觉概念提取不完美且语言模型简单，但上限仍远高于当前模型的输出结果。
• 该方法揭示了当前模型仅捕捉到数据中少量的视觉概念，表明视觉理解方面存在重大差距。
• 在捕捉的视觉元素数量与准确率之间存在权衡，更高的覆盖率并不总能提升性能。
• LSMDC数据集比MS-COCO和YouTube2Text更具挑战性，而YouTube2Text由于视频内容的高冗余性表现出'福音'效应。
• 上限分析量化了每个数据集的性能上限，为未来模型开发提供了新基准。