[论文解读] Classifying a specific image region using convolutional nets with an ROI mask as input

Sagi Eppel|arXiv (Cornell University)|Dec 1, 2018

Advanced Neural Network Applications参考文献 6被引用 6

一句话总结

本文提出一种方法，通过将感兴趣区域（ROI）掩码作为注意力图，利用卷积神经网络（CNN）对特定图像区域进行分类。该方法通过在网络早期融合ROI掩码，增强特征学习，从而提升分类准确率，尤其在小物体上表现更优，通过利用上下文背景信息，优于在COCO和OpenSurfaces数据集上忽略背景区域的方法。

ABSTRACT

Convolutional neural nets (CNN) are the leading computer vision method for classifying images. In some cases, it is desirable to classify only a specific region of the image that corresponds to a certain object. Hence, assuming that the region of the object in the image is known in advance and is given as a binary region of interest (ROI) mask, the goal is to classify the object in this region using a convolutional neural net. This goal is achieved using a standard image classification net with the addition of a side branch, which converts the ROI mask into an attention map. This map is then combined with the image classification net. This allows the net to focus the attention on the object region while still extracting contextual cues from the background. This approach was evaluated using the COCO object dataset and the OpenSurfaces materials dataset. In both cases, it gave superior results to methods that completely ignore the background region. In addition, it was found that combining the attention map at the first layer of the net gave better results than combining it at higher layers of the net. The advantages of this method are most apparent in the classification of small regions which demands a great deal of contextual information from the background.

研究动机与目标

• 在已知二值ROI掩码的情况下，提升特定物体区域的图像分类准确率。
• 解决需要依赖周围背景上下文线索的小物体或模糊物体的分类挑战。
• 探索在标准CNN架构中如何以及在何处集成ROI掩码信息以最大化性能。
• 评估从ROI掩码导出的注意力图在不依赖完整图像上下文的情况下，引导特征学习的有效性。

提出的方法

• 引入一个侧支路，通过小型卷积网络将输入的ROI掩码处理为可学习的注意力图。
• 在主图像分类网络的第一个卷积层处融合注意力图，以引导早期特征提取。
• 使用逐元素乘法对特征图进行调制，使网络能够聚焦于ROI区域，同时保留背景上下文信息。
• 采用标准ImageNet预训练的分类主干网络（如ResNet），并添加注意力支路，实现端到端训练。
• 联合使用图像-标签对和ROI掩码标注进行训练，以优化分类准确率。
• 通过消融研究评估注意力图融合层位置的影响，比较在第一层（早期）与深层（后期）融合的效果。

实验结果

研究问题

• RQ1 与标准CNN相比，将ROI掩码作为注意力图集成是否能提升特定图像区域的分类准确率？
• RQ2 在哪个网络层融合ROI注意力图对物体分类最为有效？
• RQ3 通过ROI掩码引入背景上下文信息，对性能有何影响，特别是在小物体或部分可见物体上？
• RQ4 轻量级侧支路处理ROI掩码是否能实现优于忽略背景信息方法的泛化能力？
• RQ5 与忽略背景或使用其他注意力机制的基线方法相比，所提方法表现如何？

主要发现

• 该方法在COCO目标检测数据集和OpenSurfaces材质数据集上显著优于忽略背景区域的基线模型。
• 在网络第一层融合注意力图的性能优于在深层融合，表明早期引导更为有效。
• 对于小区域，模型实现了更高的分类准确率，因为上下文背景信息对正确预测至关重要。
• 从ROI掩码导出的注意力图能有效抑制无关背景特征，同时保留周围区域的判别性线索。
• 消融研究证实，侧支路和早期融合机制是该方法成功的关键，当融合被延迟或省略时性能显著下降。
• 该方法在多样化数据集上泛化良好，展现出在复杂背景真实场景下的鲁棒性。