[论文解读] BreakingNews: Article Annotation by Image and Text Processing

Arnau Ramisa, Fei Yan+2 more|arXiv (Cornell University)|Mar 23, 2016

Multimodal Machine Learning Applications参考文献 70被引用 17

一句话总结

本文介绍了BreakingNews，一个包含约10万篇新闻文章的大规模数据集，每篇包含图像、文本和丰富的元数据，并提出了用于多模态任务（如来源检测、地理定位、流行度预测和文章插图）的深度学习方法。该方法采用在任务间共享特征的自适应卷积神经网络（CNN），使用深度典型相关分析（DCCA）进行插图生成，并采用基于大圆距离的损失函数进行地理定位，取得了优异结果——尤其在来源检测和地理定位方面表现突出，同时揭示了由于图像与文本对齐较弱，导致标题生成存在挑战。

ABSTRACT

Building upon recent Deep Neural Network architectures, current approaches lying in the intersection of computer vision and natural language processing have achieved unprecedented breakthroughs in tasks like automatic captioning or image retrieval. Most of these learning methods, though, rely on large training sets of images associated with human annotations that specifically describe the visual content. In this paper we propose to go a step further and explore the more complex cases where textual descriptions are loosely related to the images. We focus on the particular domain of News articles in which the textual content often expresses connotative and ambiguous relations that are only suggested but not directly inferred from images. We introduce new deep learning methods that address source detection, popularity prediction, article illustration and geolocation of articles. An adaptive CNN architecture is proposed, that shares most of the structure for all the tasks, and is suitable for multitask and transfer learning. Deep Canonical Correlation Analysis is deployed for article illustration, and a new loss function based on Great Circle Distance is proposed for geolocation. Furthermore, we present BreakingNews, a novel dataset with approximately 100K news articles including images, text and captions, and enriched with heterogeneous meta-data (such as GPS coordinates and popularity metrics). We show this dataset to be appropriate to explore all aforementioned problems, for which we provide a baseline performance using various Deep Learning architectures, and different representations of the textual and visual features. We report very promising results and bring to light several limitations of current state-of-the-art in this kind of domain, which we hope will help spur progress in the field.

研究动机与目标

• 为解决新闻文章中图像与文本关系弱对齐的问题，即文本内容具有隐含性，无法直接从图像中推断出来。
• 开发一个统一的深度学习框架，能够跨多种多模态新闻任务实现多任务学习和迁移学习。
• 创建一个大规模、丰富标注的基准数据集（BreakingNews），以支持超越标准图像字幕任务的视觉-语言理解研究。
• 评估深度学习模型在具有细微视觉-语言关联的复杂真实新闻文章理解任务中的性能表现。
• 识别当前最先进模型在应用于新闻媒体中松散关联的图像-文本对时的局限性。

提出的方法

• 提出一种自适应CNN架构，使多个任务（来源检测、地理定位、流行度、插图生成）共享大部分网络层，仅对每个任务的最后几层进行微调。
• 引入一种基于大圆距离的新型损失函数用于地理定位，能够在球面空间中更有效地回归GPS坐标。
• 应用深度典型相关分析（DCCA）对视觉和文本表征进行对齐，以实现文章插图任务中的跨模态共享表征学习。
• 使用长短期记忆网络（LSTM）通过融合视觉特征（VGG19、Places）和文本特征（Word2Vec均值）生成标题。
• 采用单任务、多任务和迁移学习策略，对最后全连接层使用学习率缩放（1/10）以减少共适应现象。
• 结合多种视觉特征提取器（VGG19和Places）和文本特征（Word2Vec），以增强标题生成和分类任务的输入表征。

实验结果

研究问题

• RQ1 共享的深度CNN架构能否有效处理图像-文本对弱对齐的新闻文章中的多种多模态任务？
• RQ2 与标准回归损失相比，基于大圆距离的损失在地理定位任务中如何提升精度？
• RQ3 迁移学习在低资源任务（如流行度预测或来源检测）中能多大程度上提升性能？
• RQ4 为何最先进的标题生成模型在新闻图像上表现不佳？其性能差距的主要影响因素是什么？
• RQ5 在弱对齐设置下，不同特征融合策略（固定特征 vs. 端到端微调特征）如何影响标题生成质量？

主要发现

• 单任务学习在大多数任务中表现最佳，优于多任务学习，表明所提任务在共享表征学习方面兼容性有限。
• 迁移学习始终优于多任务学习，并在多数情况下达到或超过单任务学习性能，尤其在从来源检测迁移到流行度预测时表现显著。
• 地理定位和来源检测任务结果最强，大圆距离损失使球面空间中的GPS坐标预测更加准确。
• 标题生成性能仍然较低（BLEU-1: 19.6，METEOR: 5.3），表明由于新闻内容中图像与文本关系具有高度抽象性和间接性，存在显著挑战。
• 对CNN特征进行端到端微调并未提升标题生成效果，表明预训练视觉特征在该任务中已达到最优。
• BreakingNews数据集（约10万篇新闻文章，包含多样化的元数据，如GPS坐标、情感倾向、主题等）为未来新闻媒体视觉-语言理解研究提供了稳健的基准。