[论文解读] Efficient Large-Scale Multi-Modal Classification

Douwe Kiela, Édouard Grave+2 more|arXiv (Cornell University)|Feb 6, 2018

Text and Document Classification Technologies被引用 36

一句话总结

本文通过融合文本与离散化视觉特征，提出了一种高效的多模态分类方法，在计算成本极低的情况下实现了高精度。结果表明，离散化特征在仅付出极小速度损失的前提下，优于仅使用文本的模型，并支持可解释的特征分析，使大规模多模态学习变得实际且高效。

ABSTRACT

While the incipient internet was largely text-based, the modern digital world is becoming increasingly multi-modal. Here, we examine multi-modal classification where one modality is discrete, e.g. text, and the other is continuous, e.g. visual representations transferred from a convolutional neural network. In particular, we focus on scenarios where we have to be able to classify large quantities of data quickly. We investigate various methods for performing multi-modal fusion and analyze their trade-offs in terms of classification accuracy and computational efficiency. Our findings indicate that the inclusion of continuous information improves performance over text-only on a range of multi-modal classification tasks, even with simple fusion methods. In addition, we experiment with discretizing the continuous features in order to speed up and simplify the fusion process even further. Our results show that fusion with discretized features outperforms text-only classification, at a fraction of the computational cost of full multi-modal fusion, with the additional benefit of improved interpretability.

研究动机与目标

• 应对网络内容日益视觉化和多模态化所带来的可扩展多模态分类需求增长。
• 研究多模态融合中准确率与计算效率之间的权衡。
• 探索将连续视觉特征离散化的可行性与优势，以加速训练并减少存储需求。
• 证明使用离散化特征的简单快速模型可超越仅使用文本的基线模型。
• 为大规模多模态学习提供一个实用且可扩展的基线，同时提升可解释性。

提出的方法

• 使用预训练的卷积神经网络从图像中提取连续视觉特征。
• 应用产品量化（PQ）和随机稀疏产品量化（RSPQ）将连续视觉特征离散化为紧凑的词典。
• 通过加法或最大池化等简单高效的运算，融合离散化文本嵌入与量化后的视觉特征。
• 使用与FastText相同的架构，基于融合后的特征训练文本分类模型，以确保公平比较。
• 在量化特征上进行最近邻分析，以评估可解释性与特征聚类情况。
• 在多个数据集上对比全模态融合与离散化融合方法的性能表现。

实验结果

研究问题

• RQ1 在大规模多模态分类中，准确率与计算效率之间的最优权衡是什么？
• RQ2 将连续视觉特征离散化是否能显著减少训练时间与存储需求，同时仅造成可忽略的准确率损失？
• RQ3 在性能与速度方面，简单融合方法（如加法、最大池化）与复杂方法（如双线性门控）相比如何？
• RQ4 使用离散化特征是否能通过实现视觉特征的有意义聚类，提升模型的可解释性？
• RQ5 在真实世界的大规模基准测试中，离散化多模态模型是否能超越仅使用文本的模型？

主要发现

• 双线性门控融合模型在所有任务中均达到最高准确率，但计算需求极高。
• 简单的融合方法（如加法和最大池化）在显著更快的训练时间下仍能保持强劲性能。
• 离散化模型（PQ 和 RSPQ）在 FlickrTag-1 上训练时间不足 2 分钟，而双线性模型则超过 1 小时。
• 在完整的 FlickrTag 数据集上，RSPQ 相较于 FastText 提升了 2.7% 的准确率，相当于额外正确分类约 16,778 个测试样本。
• 对量化特征进行最近邻分析揭示了有意义的聚类（如“甜甜圈”、“焦焦脆皮布丁”），证明了可解释性。
• 离散化特征使得能够可解释地分析模型依赖的视觉概念，这是原始 CNN 特征难以实现的优势。