[论文解读] Multi-Object Classification and Unsupervised Scene Understanding Using Deep Learning Features and Latent Tree Probabilistic Models

Tejaswi Nimmagadda, Anima Anandkumar|arXiv (Cornell University)|May 2, 2015

Advanced Image and Video Retrieval Techniques参考文献 29被引用 11

一句话总结

本文提出了一种统一的深度学习与概率建模框架，将预训练的ImageNet特征与条件潜在树模型（CLTM）相结合，以提升多对象分类和无监督场景理解性能。通过核方法学习分层的对象共现结构，并利用三层神经网络学习节点/边的势函数，该方法在具有挑战性的对象（如酒杯）上实现了高达171%的F1值提升，同时潜在节点无需监督即可捕捉语义场景主题。

ABSTRACT

Deep learning has shown state-of-art classification performance on datasets such as ImageNet, which contain a single object in each image. However, multi-object classification is far more challenging. We present a unified framework which leverages the strengths of multiple machine learning methods, viz deep learning, probabilistic models and kernel methods to obtain state-of-art performance on Microsoft COCO, consisting of non-iconic images. We incorporate contextual information in natural images through a conditional latent tree probabilistic model (CLTM), where the object co-occurrences are conditioned on the extracted fc7 features from pre-trained Imagenet CNN as input. We learn the CLTM tree structure using conditional pairwise probabilities for object co-occurrences, estimated through kernel methods, and we learn its node and edge potentials by training a new 3-layer neural network, which takes fc7 features as input. Object classification is carried out via inference on the learnt conditional tree model, and we obtain significant gain in precision-recall and F-measures on MS-COCO, especially for difficult object categories. Moreover, the latent variables in the CLTM capture scene information: the images with top activations for a latent node have common themes such as being a grasslands or a food scene, and on on. In addition, we show that a simple k-means clustering of the inferred latent nodes alone significantly improves scene classification performance on the MIT-Indoor dataset, without the need for any retraining, and without using scene labels during training. Thus, we present a unified framework for multi-object classification and unsupervised scene understanding.

研究动机与目标

• 解决自然图像中对象非互斥且呈现复杂共现模式的多对象分类挑战。
• 克服独立二值分类器或多分类器的局限性，后者忽略了对象类别之间的上下文关系。
• 通过学习捕捉高层语义场景结构的潜在变量，实现在训练过程中无需场景标签的无监督场景理解。
• 通过结构化概率模型引入上下文依赖，提升罕见或难以检测对象的分类性能。
• 开发一种可扩展的端到端框架，整合深度学习特征、基于核的方法进行结构学习，以及神经网络势函数估计。

提出的方法

• 以从预训练ImageNet卷积神经网络提取的fc7特征作为输入上下文，对潜在树概率模型（CLTM）进行条件化。
• 使用核条件嵌入估计对象共现的成对条件概率，从而指导分层树结构的构建。
• 通过在相同fc7特征上训练的新三层前馈神经网络，学习CLTM的节点与边势函数。
• 通过在学习到的CLTM上进行MAP推理实现多对象分类，利用结构化预测提升标签的一致性。
• 在推断出的潜在节点激活值上应用k-means聚类，实现MIT-Indoor数据集上的无监督场景分类，训练过程中不使用场景标签。
• 恢复一种灵活、数据驱动的树结构，无需预设拓扑结构或潜在变量数量，支持对象类别的自适应分组。

实验结果

研究问题

• RQ1 基于深度特征的条件潜在树模型是否能提升在MS-COCO等复杂非图标化图像上的多对象分类性能？
• RQ2 在无监督或无场景级标注的情况下，CLTM中的潜在变量在多大程度上能捕捉语义场景级信息？
• RQ3 通过共现建模引入上下文依赖，能在多大程度上提升F1值，特别是对罕见或困难对象类别？
• RQ4 CLTM的潜在激活值能否直接用于无监督场景分类？与仅使用对象级预测相比，性能如何？
• RQ5 结合核方法进行结构学习与神经网络进行势函数估计，是否能形成一种可扩展且泛化能力强的大规模多标签识别框架？

主要发现

• 在MS-COCO数据集上，CLTM框架相比三层独立神经网络分类器，F1值提升了7个百分点。
• 对于酒杯等困难对象类别，F1值提升高达171%，显著改善了罕见或难以识别对象的检测性能。
• 模型在室内物体上表现尤为突出，碗与杯子的F1值分别提升50–56%，笔记本电脑提升27%。
• CLTM中的潜在节点有效捕捉了语义场景主题：例如，节点h9、h12、h4与h21分别对应森林、餐桌、厨房与客厅场景。
• 仅基于潜在节点的边缘概率进行聚类，在MIT-Indoor数据集上（k=6）的误分类率为0.238，优于使用对象级预测或联合观测+隐藏特征的聚类方法。
• 结果表明，仅使用对象级特征与潜在结构，即可实现无监督场景理解，无需训练阶段的场景标签。