[论文解读] Large-Scale Attribute-Object Compositions

Filip Radenović, Animesh A. Sinha+3 more|arXiv (Cornell University)|May 24, 2021

Graph Theory and Algorithms参考文献 61被引用 4

一句话总结

本文提出 CompNet，一种用于大规模属性-对象组合分类的弱监督深度学习框架，利用 Instagram 标签作为噪声监督信号。通过在分类器空间中联合学习物体和属性分类器并进行组合，该模型能有效泛化到未见的属性-对象组合，在包含 7800 万张图像、7700 个物体和 1200 个属性的 YFCC100m 数据集上，尤其在罕见或未观测到的组合上，性能优于后期融合基线方法。

ABSTRACT

We study the problem of learning how to predict attribute-object compositions from images, and its generalization to unseen compositions missing from the training data. To the best of our knowledge, this is a first large-scale study of this problem, involving hundreds of thousands of compositions. We train our framework with images from Instagram using hashtags as noisy weak supervision. We make careful design choices for data collection and modeling, in order to handle noisy annotations and unseen compositions. Finally, extensive evaluations show that learning to compose classifiers outperforms late fusion of individual attribute and object predictions, especially in the case of unseen attribute-object pairs.

研究动机与目标

• 解决从标注有限且噪声较大的图像中学习属性-对象组合的挑战。
• 实现对训练数据中未出现的未见属性-对象对的泛化能力。
• 将属性-对象分类扩展到包含数十万种组合的大规模、多样化数据集。
• 设计一种可扩展的端到端框架，通过在特征空间中组合分类器而非显式学习每种组合，实现高效组合。
• 在 Facebook Marketplace 等真实应用场景中评估该方法，其中覆盖范围和泛化能力至关重要。

提出的方法

• 该框架采用多头架构，包含三个分类器头：物体分类器、与属性无关的属性分类器，以及属性-物体分类器。
• 一个组合模块直接在分类器空间中学习组合物体和属性分类器的权重，从而实现在未见组合上的推理。
• 设计了一种新型损失函数，以更好地处理噪声较大的弱监督标签，并在训练过程中提升鲁棒性。
• 一种候选选择策略减少了训练和推理过程中考虑的属性-物体对数量，提升了效率和泛化能力。
• 模型在 YFCC100m 的 7800 万张图像上进行训练，使用标签作为弱标签，并通过半自动的标签工程流程筛选出视觉相关、共享且可解释的属性。
• 在部署时，系统避免在推理阶段使用完整的多层感知机（MLP），而是仅存储前 k 个组合得分，从而降低存储和计算开销。

实验结果

研究问题

• RQ1 深度学习模型能否在大规模数据集上，有效利用弱监督且噪声较大的 Instagram 标签学习属性-对象组合？
• RQ2 此类模型在训练期间未见的属性-对象对上的泛化能力如何？
• RQ3 分类器的端到端组合是否优于对独立的属性和物体预测进行后期融合？
• RQ4 在存在噪声标签和缺失标注的情况下，为使组合模块具备鲁棒性，需要哪些设计选择？
• RQ5 该框架能否在 Facebook Marketplace 等真实系统中有效部署，以实现可扩展的属性过滤与排序？

主要发现

• 所提出的 CompNet 框架在零样本泛化方面显著优于后期融合基线方法，尤其在未见的属性-对象组合上表现突出。
• 由于分类器空间组合机制提供了跨属性和物体的归纳偏置，模型能有效泛化到罕见或未观测到的组合。
• 在包含 7800 万张图像、7694 个物体、1237 个属性和 28 万个组合的 YFCC100m 数据集上进行的广泛评估显示，该方法在可见和未见情形下均表现出色。
• 该框架已成功部署于 Facebook Marketplace，用于属性过滤和信息流排序，使新属性可被组合用于未见类别，而无需重新训练或新增标注。
• 通过采用候选选择策略并仅存储前 k 个组合得分，系统显著降低了存储和推理成本，同时保持了高覆盖范围和性能。
• 该方法在真实场景中展现出可扩展性和鲁棒性，具有在电商和检索应用中广泛推广的潜力。