[论文解读] Look-into-Object: Self-supervised Structure Modeling for Object Recognition

Mohan Zhou, Yalong Bai+3 more|arXiv (Cornell University)|Mar 31, 2020

Advanced Neural Network Applications参考文献 39被引用 12

一句话总结

本文提出 Look-into-Object (LIO)，一种自监督框架，通过两种可插拔模块建模整体物体结构，从而提升物体识别性能：物体范围学习（OEL）用于定位完整物体范围，空间上下文学习（SCL）用于预测物体部件之间的相对空间关系。该方法在 ImageNet、CUB、Cars 和 Aircraft 基准上实现了显著的准确率提升，且无需额外标注或推理开销，通过类别内区域相关性和相对坐标预测实现自监督。

ABSTRACT

Most object recognition approaches predominantly focus on learning discriminative visual patterns while overlooking the holistic object structure. Though important, structure modeling usually requires significant manual annotations and therefore is labor-intensive. In this paper, we propose to "look into object" (explicitly yet intrinsically model the object structure) through incorporating self-supervisions into the traditional framework. We show the recognition backbone can be substantially enhanced for more robust representation learning, without any cost of extra annotation and inference speed. Specifically, we first propose an object-extent learning module for localizing the object according to the visual patterns shared among the instances in the same category. We then design a spatial context learning module for modeling the internal structures of the object, through predicting the relative positions within the extent. These two modules can be easily plugged into any backbone networks during training and detached at inference time. Extensive experiments show that our look-into-object approach (LIO) achieves large performance gain on a number of benchmarks, including generic object recognition (ImageNet) and fine-grained object recognition tasks (CUB, Cars, Aircraft). We also show that this learning paradigm is highly generalizable to other tasks such as object detection and segmentation (MS COCO). Project page: https://github.com/JDAI-CV/LIO.

研究动机与目标

• 解决当前物体识别模型仅关注判别性视觉模式而忽略整体物体结构的局限性。
• 开发一种自监督学习框架，通过建模物体结构实现端到端训练，无需人工标注且不增加推理时间。
• 通过通用、可插拔的模块向深层主干网络注入结构归纳偏置，提升表征学习能力。
• 证明建模物体范围和内部空间上下文可增强特征定位能力和分类鲁棒性。
• 在 MS COCO 上的检测和分割等多样化任务中验证该方法的泛化能力。

提出的方法

• 物体范围学习（OEL）通过测量查询图像与同类别正样本图像之间的区域级相关性，仅使用图像级标签构建物体范围的伪掩码。
• OEL 模块端到端训练主干网络回归伪掩码，使网络能够在无需边界框或分割标注的情况下学习定位完整物体范围。
• 空间上下文学习（SCL）预测物体范围内成对区域之间的相对极坐标，以自监督方式建模内部结构组成。
• SCL 采用双流对比学习设置预测空间关系，促使网络学习物体部件的结构化表征。
• OEL 和 SCL 均为轻量级模块，可在推理阶段被移除，保持原始主干网络的模型大小和推理速度。
• 该框架可与任意标准分类主干网络（如 ResNet、ResNeXt）集成，并使用联合损失函数进行训练：交叉熵损失用于分类，辅助损失用于 OEL 和 SCL。

实验结果

研究问题

• RQ1 自监督学习物体范围和内部空间结构是否能在不增加额外标注的情况下提升物体识别性能？
• RQ2 建模完整物体范围在多大程度上影响特征图中判别性区域的定位？
• RQ3 预测物体部件之间的相对空间关系在多大程度上提升了特征表示质量？
• RQ4 所提出的模块能否有效集成到标准主干网络中，并在多样化识别任务中实现泛化？
• RQ5 自监督结构建模是否能提升下游任务（如目标检测和实例分割）的性能？

主要发现

• 在 CUB 数据集上，LIO 达到 87.31% 的 top-1 准确率，较 ResNet-50（85.50%）提升 1.81%，在细粒度识别任务中表现显著提升。
• 在 Cars 数据集上，LIO 准确率达到 93.89%，较 ResNet-50 提升 1.16 个百分点，展现出对视觉变化的强鲁棒性。
• 消融实验表明，OEL 和 SCL 独立且互补地贡献性能提升，其中 SCL 提供了一种系统化的方法用于挖掘物体范围内的判别性区域。
• 仅使用每批次 3 张正样本图像进行 OEL 即可获得接近最优的性能，实现计算成本与结构学习质量之间的良好平衡。
• 将伪掩码替换为真实语义掩码仅导致 0.1% 的准确率下降（CUB 上为 87.3% vs. 87.4%），表明自监督掩码生成质量极高。
• 该方法仅引入 0.26 百万个额外参数（占 ResNet-50 的 1.01%），且两个模块均可在推理阶段移除，完全保持模型效率。