[论文解读] Learning to Refine Object Segments

Pedro O. Pinheiro, Tsung-Yi Lin+2 more|arXiv (Cornell University)|Mar 29, 2016

Advanced Neural Network Applications参考文献 31被引用 60

一句话总结

本文提出SharpMask，一种新颖的自顶向下精炼方法，通过利用低层特征对前馈卷积神经网络的粗略掩码预测进行精炼，从而提升实例分割性能。通过堆叠逐步恢复空间分辨率的精炼模块，SharpMask在目标提议生成任务中达到最先进性能——平均召回率提升10–20%，且每张图像推理时间比DeepMask快50%，总耗时低于0.8秒。

ABSTRACT

Object segmentation requires both object-level information and low-level pixel data. This presents a challenge for feedforward networks: lower layers in convolutional nets capture rich spatial information, while upper layers encode object-level knowledge but are invariant to factors such as pose and appearance. In this work we propose to augment feedforward nets for object segmentation with a novel top-down refinement approach. The resulting bottom-up/top-down architecture is capable of efficiently generating high-fidelity object masks. Similarly to skip connections, our approach leverages features at all layers of the net. Unlike skip connections, our approach does not attempt to output independent predictions at each layer. Instead, we first output a coarse `mask encoding' in a feedforward pass, then refine this mask encoding in a top-down pass utilizing features at successively lower layers. The approach is simple, fast, and effective. Building on the recent DeepMask network for generating object proposals, we show accuracy improvements of 10-20% in average recall for various setups. Additionally, by optimizing the overall network architecture, our approach, which we call SharpMask, is 50% faster than the original DeepMask network (under .8s per image).

研究动机与目标

• 解决卷积神经网络在池化操作下通常损失空间细节的问题，以生成高保真、像素级精确的物体掩码。
• 克服标准跳跃连接的局限性，后者在各层独立预测，难以区分物体实例。
• 开发一种高效融合高层语义知识与早期层空间细节的方法。
• 通过自顶向下的方式精炼粗略掩码编码，提升实例分割的目标提议生成质量。
• 在准确率和推理速度上均优于现有最先进方法（如DeepMask和RPN）

提出的方法

• 提出一种自底向上/自顶向下的架构，首先利用高层特征在前馈传递中生成粗略掩码编码。
• 引入精炼模块，通过结合自顶向下的掩码编码与早期层的自底向上特征，逆转池化效应，生成更高分辨率的掩码输出。
• 堆叠多个精炼模块，每个模块通过整合来自逐层更低层的特征，将掩码编码的空间分辨率翻倍。
• 设计精炼模块为完全可微且高效，支持端到端训练与快速推理。
• 将模型重构为等效但更高效的实现方式，通过在重叠的空间窗口间共享跳跃连接特征。
• 将该方法应用于DeepMask框架，得到SharpMask——一种更快速、更准确的实例分割目标提议网络。

实验结果

研究问题

• RQ1 是否可通过自顶向下精炼机制，在不依赖每层独立预测的前提下，提升前馈CNN生成的物体掩码保真度？
• RQ2 与跳跃连接相比，所提出的精炼方法在实例分割任务中的性能与效率表现如何？
• RQ3 自顶向下精炼在多大程度上可提升目标提议质量，特别是在平均召回率与IoU阈值方面？
• RQ4 该精炼机制能否高效集成到现有目标提议网络（如DeepMask）中，同时降低推理时间？
• RQ5 该精炼方法是否可泛化至其他像素级标注任务，而不仅限于目标提议生成？

主要发现

• 与原始DeepMask网络相比，SharpMask在多种设置下将平均召回率提升了10–20%。
• 在仅使用每张图像约500个提议的情况下，SharpMask在COCO验证集上达到28.0 AP，比SelSearch高出5 AP。
• 使用VGG分类器时，SharpMask在COCO测试开发集上达到25.2 AP，优于RPN与SelSearch基线模型。
• 在2015年COCO检测挑战赛中，SharpMask+MPN集成模型在边界框检测任务中取得33.5 AP，在分割任务中取得25.1 AP，位列第二。
• SharpMask每张图像的推理时间低于0.8秒，相比原始DeepMask网络提速50%。
• 重构后的模型架构通过在重叠空间窗口间共享跳跃连接特征，实现了更高的效率，且未损失性能。