[论文解读] Instance Search via Instance Level Segmentation and Feature Representation

Zhan Yu, Wan‐Lei Zhao|arXiv (Cornell University)|Jun 10, 2018

Advanced Image and Video Retrieval Techniques参考文献 39被引用 6

一句话总结

本文提出一种基于全卷积实例感知语义分割（FCIS）与ROI池化结合的实例级特征表示方法，用于实例搜索。通过引入可变形ResNeXt模块，该方法在新构建的Instance-160基准上显著优于当前最先进方法，尤其在背景变化条件下表现出更强的区分性与可扩展性。

ABSTRACT

Instance search is an interesting task as well as a challenging issue due to the lack of effective feature representation. In this paper, an instance level feature representation built upon fully convolutional instance-aware segmentation is proposed. The feature is ROI-pooled from the segmented instance region. So that instances in various sizes and layouts are represented by deep features in uniform length. This representation is further enhanced by the use of deformable ResNeXt blocks. Superior performance is observed in terms of its distinctiveness and scalability on a challenging evaluation dataset built by ourselves. In addition, the proposed enhancement on the network structure also shows superior performance on the instance segmentation task.

研究动机与目标

• 为解决实例搜索中有效特征表示的挑战，传统全局或局部特征易受背景干扰且对变换敏感。
• 开发一种兼具区分性与可扩展性的特征表示方法，即使在具有多样化背景的大规模参考集合下亦表现优异。
• 通过利用像素级实例分割而非图像级或粗粒度区域级特征，提升实例定位与特征质量。
• 构建一个新的基准数据集Instance-160，以实现对实例搜索方法公平且具有挑战性的评估。
• 证明在复杂、杂乱环境中，实例级特征学习相较于图像级或区域级表示具有显著优势。

提出的方法

• 该方法采用全卷积实例感知语义分割（FCIS）生成个体实例的像素级掩码，实现精确的定位。
• 通过FCIS网络的特征图对ROI池化操作提取实例级特征，确保无论实例大小或布局如何，均获得统一长度的表示。
• 将主干网络替换为ResNeXt-101，在不增加FLOPs或参数量的前提下提升特征学习能力。
• 在ResNeXt-101的最后阶段集成可变形卷积模块，以自适应调整感受野，适应不规则物体形状。
• 特征表示为1,536维向量，支持使用余弦距离进行高效的相似性计算。
• 从视觉目标跟踪基准视频中构建新数据集Instance-160，用于在真实条件下评估实例搜索性能。

实验结果

研究问题

• RQ1 与图像级或区域级特征相比，基于像素级分割的实例级特征表示是否能提升实例搜索中的检索性能？
• RQ2 在显著的背景变化条件下，该方法表现如何？此时图像级特征常因失效而表现下降。
• RQ3 可变形卷积模块的引入在多大程度上提升了实例搜索与分割任务的特征表示能力？
• RQ4 当参考集规模扩展至一百万张图像时，该特征表示的可扩展性如何？
• RQ5 基于跟踪视频构建的新基准数据集能否为实例搜索提供更真实且更具挑战性的评估环境？

主要发现

• 在Instance-160基准上，所提出的FCIS+XD方法在top-100检索中达到0.7366的平均精度均值（mAP），显著优于Deepvision（DV-Vgg）方法。
• 在严重背景变化条件下，Deepvision因依赖图像级特征而性能急剧下降，而FCIS+XD保持高精度，展现出更强的鲁棒性。
• 在40个具有高背景变化的查询中，FCIS+XD在top-50的mAP达到0.6467，证实其对背景杂乱具有强适应能力。
• 在包含一百万张干扰图像的可扩展性测试中，FCIS+XD在top-50的mAP始终最高，持续优于Deepvision及其他基线方法。
• 该方法生成的实例边界框比Deepvision更准确，后者因特征表示不精确而出现定位偏差。
• 使用可变形卷积模块显著改善了特征表示，提升了实例搜索与实例分割任务的整体性能。