[论文解读] Recognizing Image Objects by Relational Analysis Using Heterogeneous Superpixels and Deep Convolutional Features

Alex Yang, Charlie Veal+2 more|arXiv (Cornell University)|Aug 2, 2019

Visual Attention and Saliency Detection参考文献 16被引用 5

一句话总结

该论文提出了一种超像素胶囊网络（Superpixel Capsule Network），通过利用异质超像素将深度卷积特征组织为具有空间结构的表征，借助胶囊路由实现关系分析，从而在图像分类中提升可解释性。该模型在验证集上达到89%的准确率，参数量仅为VGG-16的12%（减少88%），展现出强大的泛化能力，并能实现无需分割标注的可解释性部件-整体对象关系建模。

ABSTRACT

Superpixel-based methodologies have become increasingly popular in computer vision, especially when the computation is too expensive in time or memory to perform with a large number of pixels or features. However, rarely is superpixel segmentation examined within the context of deep convolutional neural network architectures. This paper presents a novel neural architecture that exploits the superpixel feature space. The visual feature space is organized using superpixels to provide the neural network with a substructure of the images. As the superpixels associate the visual feature space with parts of the objects in an image, the visual feature space is transformed into a structured vector representation per superpixel. It is shown that it is feasible to learn superpixel features using capsules and it is potentially beneficial to perform image analysis in such a structured manner. This novel deep learning architecture is examined in the context of an image classification task, highlighting explicit interpretability (explainability) of the network's decision making. The results are compared against a baseline deep neural model, as well as among superpixel capsule networks with a variety of hyperparameter settings.

研究动机与目标

• 解决标准深度学习特征空间在图像分类中缺乏空间结构与可解释性的问题。
• 探索将超像素不仅用于降维，更作为关系特征学习的结构骨架的可行性。
• 通过将胶囊激活与超像素分割关联，提升模型可解释性，实现对空间物体部件的关联分析。
• 仅使用图像级别分类标签，实现端到端的物体识别，避免对实例分割标注的依赖。
• 通过结构化特征组织与基于胶囊的关系推理，降低模型复杂度，同时保持优异性能。

提出的方法

• 采用VGG-16作为主干网络，从输入图像中提取深度卷积特征。
• 使用基于图的分割算法生成超像素，其大小为异质（非均匀）以保留空间与语义结构。
• 每个超像素与其一组深度特征相关联，形成将特征与空间物体部件关联的结构化向量表征。
• 在这些超像素组织的特征上应用胶囊层，通过动态路由建模部件-整体关系。
• 网络仅使用图像级别分类标签进行端到端训练，通过关注空间关系实现自监督的实体分割。
• 通过验证准确率与泛化能力评估模型性能，并与标准VGG-16进行比较，同时开展关于超像素大小与超参数的消融研究。

实验结果

研究问题

• RQ1 异质超像素能否作为有效的结构先验，用于组织深度卷积特征，从而增强关系推理能力？
• RQ2 通过超像素组织特征并应用胶囊路由，是否能提升图像分类中模型的可解释性？
• RQ3 基于超像素的胶囊网络能否在显著减少参数量的前提下，实现与VGG-16等标准深度网络相当的准确率？
• RQ4 模型性能在多大程度上依赖于超像素大小与熵值？其对特征平滑性与泛化能力有何影响？
• RQ5 模型能否在不依赖分割标注的情况下，仅通过图像级别标签生成有意义的物体部件分割结果？

主要发现

• 超像素胶囊网络在4类图像分类数据集上达到89%的验证准确率，展现出优异的性能与显著减少的参数量。
• 模型仅使用1700万个可训练参数，较VGG-16的1.34亿个参数减少88%，同时保持良好的泛化能力，训练与验证准确率相近。
• 模型在推理过程中表现稳定，过拟合现象极少，训练与验证准确率在整个训练过程中始终保持紧密一致。
• 较小的超像素（如图8g与8h所示）导致特征贡献不够平滑，并引发强度振荡，表明因模型复杂度过高而产生不稳定性。
• 异质超像素，尤其是处于中等熵范围时，相比过度分割或分割不足的配置，能实现更优的特征组织与关系建模。
• 模型具备内在可解释性，可通过将胶囊激活投影回超像素区域，揭示部件如何贡献于物体识别决策，而无需分割标签。