[论文解读] Labeling Topics with Images using Neural Networks

Νικόλαος Αλέτρας, Arpit Mittal|arXiv (Cornell University)|Aug 1, 2016

Image Retrieval and Classification Techniques参考文献 22被引用 3

一句话总结

该论文提出了一种深度神经网络（DNN）模型，可直接预测任意未见图像与给定主题的相关性，其性能优于依赖候选图像迭代重排序的先前方法。通过将主题词、图像字幕和视觉特征（通过VGG-16提取）联合编码为1600维输入，该DNN学习模态间的非线性关联，实现了SOTA性能，运行时复杂度为O(n)，在基准数据集上的Top-1平均评分为2.12。

ABSTRACT

Topics generated by topic models are usually represented by lists of $t$ terms or alternatively using short phrases and images. The current state-of-the-art work on labeling topics using images selects images by re-ranking a small set of candidates for a given topic. In this paper, we present a more generic method that can estimate the degree of association between any arbitrary pair of an unseen topic and image using a deep neural network. Our method has better runtime performance $O(n)$ compared to $O(n^2)$ for the current state-of-the-art method, and is also significantly more accurate.

研究动机与目标

• 解决现有基于图像的主题标签方法依赖于昂贵的O(n²)候选图像重排序所带来的局限性。
• 开发一种通用且可扩展的方法，可在无需预过滤或迭代计算的情况下，评估任意主题-图像对的相关性。
• 通过深度学习联合建模文本和视觉特征，提升主题表征的准确性和效率。
• 实现基于图像的实时、大规模主题标签，利用图像作为语言无关且直观的标签。

提出的方法

• 模型输入为主题词嵌入（取10个最高频词的平均值）、图像字幕嵌入以及图像的1000维VGG-16特征向量的拼接向量。
• 输入通过四层全连接隐藏层（分别包含256、128、64、32个单元）进行处理，激活函数为ReLU，并应用Dropout正则化。
• 最终输出为一个实数值，表示图像与主题的预测相关性。
• 网络使用平均绝对误差损失函数，并通过RMSProp优化器在30个周期内进行训练，采用5折交叉验证。
• 在包含300个主题、每个主题有20个候选图像的基准数据集上进行评估，相关性评分由人工标注（0–3分）。

实验结果

研究问题

• RQ1 深度神经网络是否能在无需预筛选候选集的情况下，有效预测图像与未见主题的相关性？
• RQ2 与仅使用文本或图像特征的方法相比，联合建模文本和视觉特征在主题标签准确性方面有何提升？
• RQ3 与基于图的重排序SOTA方法相比，所提方法是否在性能和效率上更具优势？
• RQ4 在主题-图像相关性预测任务中，仅使用视觉特征在多大程度上优于仅使用文本字幕？

主要发现

• 所提出的DNN模型（Topic+Caption+VGG）的Top-1平均评分为2.12，显著优于次佳方法（Local PPR得分为2.00），p < 0.01。
• 该模型的nDCG-5得分为0.81，为所有方法中的最高分，表明其在相关候选图像排序方面表现更优。
• 仅使用视觉特征的模型（DNN (Topic+VGG)）的Top-1评分为2.04，优于仅使用文本的模型（1.94），表明图像提供的信号比字幕更少噪声。
• 该模型的O(n)推理复杂度使其能够高效地在大规模图像库（如Flickr、Getty或ImageNet）上进行评估，而基于图的方法复杂度为O(n²)，效率较低。
• DNN (Topic+Caption+VGG)模型在所有指标上均显著优于WSABIE、LR、SVM以及Global和Local PPR基线方法。