[论文解读] DEEP-CARVING : Discovering Visual Attributes by Carving Deep Neural Nets

Sukrit Shankar, Vikas Garg+1 more|arXiv (Cornell University)|Apr 19, 2015

Advanced Image and Video Retrieval Techniques参考文献 35被引用 17

一句话总结

本文提出 Deep-Carving，一种用于深度卷积神经网络（CNNs）的新颖弱监督训练方法，可高效发现图像中的多种视觉属性。通过从特征图响应中迭代生成伪标签，网络能够自我“雕刻”以解耦共现属性，在 SUN Attributes 数据集和新构建的名词-形容词配对数据集 CAMIT-NSAD 上显著提升多属性预测准确率。

ABSTRACT

Most of the approaches for discovering visual attributes in images demand significant supervision, which is cumbersome to obtain. In this paper, we aim to discover visual attributes in a weakly supervised setting that is commonly encountered with contemporary image search engines. For instance, given a noun (say forest) and its associated attributes (say dense, sunlit, autumn), search engines can now generate many valid images for any attribute-noun pair (dense forests, autumn forests, etc). However, images for an attribute-noun pair do not contain any information about other attributes (like which forests in the autumn are dense too). Thus, a weakly supervised scenario occurs: each of the M attributes corresponds to a class such that a training image in class m ∈ {1, . . . , M} contains a single label that indicates the presence of the mᵗʰ attribute only. The task is to discover all the attributes present in a test image. Deep Convolutional Neural Networks (CNNs) [20] have enjoyed remarkable success in vision applications recently. However, in a weakly supervised scenario, widely used CNN training procedures do not learn a robust model for predicting multiple attribute labels simultaneously. The primary reason is that the attributes highly co-occur within the training data, and unlike objects, do not generally exist as well-defined spatial boundaries within the image. To ameliorate this limitation, we propose Deep-Carving, a novel training procedure with CNNs, that helps the net efficiently carve itself for the task of multiple attribute prediction. During training, the responses of the feature maps are exploited in an ingenious way to provide the net with multiple pseudo-labels (for training images) for subsequent iterations. The process is repeated periodically after a fixed number of iterations, and enables the net carve itself iteratively for efficiently disentangling features. Additionally, we contribute a noun-adjective pairing inspired Natural Scenes Attributes Dataset to the research community, CAMIT-NSAD, containing a number of co-occurring attributes within a noun category. We describe, in detail, salient aspects of this dataset. Our experiments on CAMIT-NSAD and the SUN Attributes Dataset [29], with weak supervision, clearly demonstrate that the Deep-Carved CNNs consistently achieve considerable improvement in the precision of attribute prediction over popular baseline methods.

研究动机与目标

• 解决在弱监督设置下从图像中发现多种视觉属性的挑战，其中每张训练图像仅有一个属性标签。
• 克服标准 CNN 训练在弱监督设置下的局限性，即共现属性和缺乏空间边界会阻碍鲁棒的多标签学习。
• 开发一种自监督机制，使 CNN 能够通过从内部特征响应中生成伪标签，迭代优化其特征表示。
• 构建一个新数据集 CAMIT-NSAD，包含名词-形容词配对的属性，以更好地建模场景中自然的共现模式。
• 在弱监督设置下，多属性预测任务中持续超越强基线模型的性能表现。

提出的方法

• 提出 Deep-Carving，一种训练方法，定期利用最后一层卷积特征图的响应重新估计训练图像的伪标签。
• 在每次迭代中，网络使用激活最强的特征图响应，推断出超过单个真实标签的额外属性标签。
• 引入软标签机制，基于空间激活模式为多个属性分配概率，从而从单标签数据中实现多标签监督。
• 应用迭代优化：在固定数量的训练周期后，网络重新估计伪标签，并使用更新后的监督信号继续训练。
• 使用标准 CNN 架构（如 AlexNet）并结合 Deep-Carving 方法进行微调，无需修改网络结构。
• 利用数据集的结构（名词-形容词配对）引导属性特异性特征的学习，尤其在早期卷积层中。

实验结果

研究问题

• RQ1 当每张图像仅提供一个属性标签时，CNN 是否能够被训练以发现图像中的多种视觉属性？
• RQ2 在训练过程中，如何利用特征图响应生成有意义的多属性伪标签？
• RQ3 在弱监督设置下，伪标签的迭代优化是否能改善共现属性的解耦？
• RQ4 所提出的 Deep-Carving 方法在多属性预测任务中，相较于标准微调和基线弱监督方法，优势有多大？
• RQ5 Deep-Carved 网络与标准微调模型在属性特异性滤波器和特征表示方面有何差异？

主要发现

• 在 SUN Attributes 数据集和新引入的 CAMIT-NSAD 数据集上，Deep-Carved CNN 在属性预测精度方面显著优于主流基线方法。
• 该方法在相同数据集上持续优于预训练模型的标准微调方法（如 MIT Places205），后者因领域偏移导致性能大幅下降。
• 第一层滤波器的可视化显示，Deep-Carved 网络学习到更多属性特异性模式（如颜色、纹理），而微调模型则更倾向于学习对象特异的边缘状滤波器。
• 对于抽象或高度共现的属性，误报率上升，表明即使采用本方法，仍难以完全区分此类属性。
• 性能提升在 CAMIT-NSAD 上最为显著，因为训练数据中的名词-形容词配对与网络的自监督学习目标高度契合。
• 结果表明，通过特征图响应实现的迭代伪标签生成，能够实现有效的自监督，使网络在无需显式多标签监督的情况下，自我“雕刻”出针对多种属性的专用特征检测器。