[论文解读] Deep Attributes from Context-Aware Regional Neural Codes

Jianwei Luo, Jianguo Li+3 more|arXiv (Cornell University)|Sep 8, 2015

Advanced Image and Video Retrieval Techniques参考文献 31被引用 4

一句话总结

本文提出了一种深度属性框架，通过利用预训练CNN中的上下文感知区域神经码来缩小视觉识别中的语义鸿沟。通过使用区域提议、软最大层输出的跨区域最大池化，以及一种上下文感知的区域优化算法，该方法在图像分类、细粒度识别和视觉实例检索任务中均实现了最先进性能，即使在与ImageNet类别重叠度较低的数据集上，也显著优于现有方法。

ABSTRACT

Recently, many researches employ middle-layer output of convolutional neural network models (CNN) as features for different visual recognition tasks. Although promising results have been achieved in some empirical studies, such type of representations still suffer from the well-known issue of semantic gap. This paper proposes so-called deep attribute framework to alleviate this issue from three aspects. First, we introduce object region proposals as intermedia to represent target images, and extract features from region proposals. Second, we study aggregating features from different CNN layers for all region proposals. The aggregation yields a holistic yet compact representation of input images. Results show that cross-region max-pooling of soft-max layer output outperform all other layers. As soft-max layer directly corresponds to semantic concepts, this representation is named "deep attributes". Third, we observe that only a small portion of generated regions by object proposals algorithm are correlated to classification target. Therefore, we introduce context-aware region refining algorithm to pick out contextual regions and build context-aware classifiers. We apply the proposed deep attributes framework for various vision tasks. Extensive experiments are conducted on standard benchmarks for three visual recognition tasks, i.e., image classification, fine-grained recognition and visual instance retrieval. Results show that deep attribute approaches achieve state-of-the-art results, and outperforms existing peer methods with a significant margin, even though some benchmarks have little overlap of concepts with the pre-trained CNN models.

研究动机与目标

• 通过将区域级语义与预训练模型的高层语义输出相结合，解决全局CNN特征中的语义鸿沟问题。
• 克服中间层CNN特征难以解释且丢失上下文信息的局限性。
• 通过聚合对象区域提议的软最大层响应，生成紧凑但语义明确的表示。
• 通过基于分类器反馈优化区域提议，聚焦于上下文相关的区域，从而提升识别性能。
• 在与ImageNet领域重叠度极低的多样化视觉识别任务中，展示深度属性框架的通用性与鲁棒性。

提出的方法

• 使用选择性搜索或边缘框等算法生成对象区域提议，以定位图像中的潜在对象。
• 针对每个区域提议，从预训练CNN（如ImageNet-1000）的软最大层提取深度特征。
• 对所有区域特征应用跨区域最大池化，生成整体性、紧凑且稀疏的表示——称为“深度属性”。
• 引入一种上下文感知区域优化（CARR）算法，利用分类器反馈识别并仅保留对最终表示最相关的区域。
• 探索多尺度与空间金字塔池化方案，以增强尺度不变性与上下文建模能力。
• 将所得的深度属性表示用作下游任务的通用特征，在检索设置中无需任务特定的微调。

实验结果

研究问题

• RQ1 将区域提议的软最大层输出进行聚合，是否能生成比全局CNN特征更紧凑且语义更明确的图像表示？
• RQ2 与其它CNN层的池化相比，对区域级深度属性进行跨区域最大池化是否能提升识别准确率？
• RQ3 能否有效利用分类器反馈来优化区域提议，通过聚焦于上下文相关的区域来增强模型性能？
• RQ4 深度属性在与预训练ImageNet数据集类别重叠度较低的任务中，其泛化能力能达到何种程度？
• RQ5 深度属性的稀疏性与可解释性在支持视觉解释与高效大规模部署方面有何作用？

主要发现

• 跨区域最大池化软最大层输出的表现优于所有其他CNN层特征，其中软最大层的语义响应对表示最为有效。
• 所提出的深度属性框架在多个基准测试中，于图像分类、细粒度物体识别与视觉实例检索任务上均达到最先进性能。
• 在视觉实例检索的Holidays与UKB数据集中，多尺度深度属性方法达到了94.2%的准确率，显著优于先前最先进方法（如CNNaug-ss的91.1%）。
• 上下文感知区域优化（CARR）算法通过仅聚焦于最具判别性的区域，显著提升了性能，有效抑制了背景噪声。
• 深度属性本身具有稀疏性与可解释性，可通过从分类器权重反向追踪，可视化每张图像与类别中最具判别性的区域。
• 即使不进行微调，深度属性在与ImageNet类别重叠极少的数据集（如牛津102朵花数据集）上也表现出良好的泛化能力，展现出强大的可迁移性。