[论文解读] Box2Mask: Box-supervised Instance Segmentation via Level-set Evolution

Wentong Li, Wenyu Liu+5 more|arXiv (Cornell University)|Dec 3, 2022

Advanced Neural Network Applications被引用 8

一句话总结

Box2Mask 提出了一种新颖的单阶段实例分割框架，通过仅使用边界框监督，利用水平集演化方法，结合深度特征和局部一致性模块，在边界框内迭代优化分割掩码。该方法在 COCO 数据集上实现了 42.4% 的掩码 AP，采用 Swin-Transformer 大型主干网络，性能与全监督方法相当，并在边界框监督实例分割任务中创下新的 SOTA 表现。

ABSTRACT

In contrast to fully supervised methods using pixel-wise mask labels, box-supervised instance segmentation takes advantage of simple box annotations, which has recently attracted increasing research attention. This paper presents a novel single-shot instance segmentation approach, namely Box2Mask, which integrates the classical level-set evolution model into deep neural network learning to achieve accurate mask prediction with only bounding box supervision. Specifically, both the input image and its deep features are employed to evolve the level-set curves implicitly, and a local consistency module based on a pixel affinity kernel is used to mine the local context and spatial relations. Two types of single-stage frameworks, i.e., CNN-based and transformer-based frameworks, are developed to empower the level-set evolution for box-supervised instance segmentation, and each framework consists of three essential components: instance-aware decoder, box-level matching assignment and level-set evolution. By minimizing the level-set energy function, the mask map of each instance can be iteratively optimized within its bounding box annotation. The experimental results on five challenging testbeds, covering general scenes, remote sensing, medical and scene text images, demonstrate the outstanding performance of our proposed Box2Mask approach for box-supervised instance segmentation. In particular, with the Swin-Transformer large backbone, our Box2Mask obtains 42.4% mask AP on COCO, which is on par with the recently developed fully mask-supervised methods. The code is available at: https://github.com/LiWentomng/boxlevelset.

研究动机与目标

• 为解决全监督实例分割中高昂的标注成本，提出仅使用边界框标注即可实现精确掩码预测的方法。
• 通过用基于物理的水平集演化框架替代简化的成对亲和力建模，提升边界框监督实例分割中的鲁棒性与边界精度。
• 将经典水平集模型整合到深度神经网络中，实现在边界框监督下的端到端、可微分掩码优化。
• 开发基于 CNN 和基于 Transformer 的单阶段架构，支持带有局部一致性和边界框级别匹配的迭代水平集演化。
• 缩小边界框监督与全掩码监督实例分割方法之间的性能差距。

提出的方法

• 该方法采用经典的 Chan-Vese 水平集能量泛函作为可微分损失，隐式演化物体边界曲线。
• 同时使用输入图像和深度特征作为水平集演化的输入，实现多尺度、多层级的上下文建模。
• 通过边界框投影函数在每次迭代中初始化水平集曲线，为给定边界框内提供粗略的边界估计。
• 基于像素亲和力核的局部一致性模块挖掘局部空间与外观关系，以在演化过程中保持一致性。
• 框架包含一个实例感知解码器和一个边界框级别匹配分配模块，以端到端可训练的方式将预测结果与真实边界框关联。
• 通过迭代最小化水平集能量函数，无需像素级监督即可在每个边界框内逐步优化掩码预测。

实验结果

研究问题

• RQ1 能否将具有可微分能量函数的水平集演化有效集成到深度神经网络中，用于边界框监督的实例分割？
• RQ2 通过亲和力核实现的局部一致性建模在边界框监督下如何提升掩码边界精度？
• RQ3 具有水平集演化的单阶段框架是否能超越现有基于成对亲和力的方法在边界框监督实例分割中的表现？
• RQ4 架构设计（CNN 与 Transformer）对基于水平集的掩码优化性能有何影响？
• RQ5 边界框监督方法在多大程度上可以缩小与全监督实例分割方法之间的性能差距？

主要发现

• Box2Mask 在 COCO 数据集上使用 Swin-Transformer 大型主干网络实现了 42.4% 的掩码 AP，与近期全掩码监督方法性能相当。
• 在 50 个训练周期的训练策略下，Box2Mask-T 在 Pascal VOC 上达到 41.4% 的掩码 AP，表明更长的训练周期具有显著优势。
• 使用膨胀率 3 的局部一致性模块表现最佳（36.3% AP），表明局部上下文比全局上下文更具优势。
• 在像素解码器中使用两层 MSDeformAtten 相比单层可将掩码 AP 提升 2.1%，峰值性能出现在五层时（39.4% AP）。
• 边界框匹配分配的最优平衡权重为 β₁=2.0 和 β₂=6.0，使基于 Transformer 的模型达到 39.4% 的 AP。
• 在五个多样化基准数据集——通用场景、遥感、医学影像和场景文本图像上，Box2Mask 在所有数据集上均创下新的 SOTA 结果。