[论文解读] Box-supervised Instance Segmentation with Level Set Evolution

Wentong Li, Wenyu Liu+4 more|arXiv (Cornell University)|Jul 19, 2022

Image and Object Detection Techniques被引用 7

一句话总结

该论文提出了一种新颖的单阶段、端到端的框监督实例分割方法，通过使用可微分Chan-Vese能量泛函的迭代水平集演化实现。通过将深度特征与输入图像结合，并以框投影初始化的水平集，该方法在COCO、Pascal VOC、iSAID和LiTS基准上实现了最先进性能，显著优于以往的弱监督方法，尤其在遥感与医学影像领域表现突出。

ABSTRACT

In contrast to the fully supervised methods using pixel-wise mask labels, box-supervised instance segmentation takes advantage of the simple box annotations, which has recently attracted a lot of research attentions. In this paper, we propose a novel single-shot box-supervised instance segmentation approach, which integrates the classical level set model with deep neural network delicately. Specifically, our proposed method iteratively learns a series of level sets through a continuous Chan-Vese energy-based function in an end-to-end fashion. A simple mask supervised SOLOv2 model is adapted to predict the instance-aware mask map as the level set for each instance. Both the input image and its deep features are employed as the input data to evolve the level set curves, where a box projection function is employed to obtain the initial boundary. By minimizing the fully differentiable energy function, the level set for each instance is iteratively optimized within its corresponding bounding box annotation. The experimental results on four challenging benchmarks demonstrate the leading performance of our proposed approach to robust instance segmentation in various scenarios. The code is available at: https://github.com/LiWentomng/boxlevelset.

研究动机与目标

• 为解决全监督实例分割中高标注成本的问题，通过仅使用边界框标注实现精确的像素级分割。
• 克服现有框监督方法依赖复杂伪标签生成流程或过于简化的成对亲和性假设的局限性。
• 提出一种可微分、端到端的框架，通过在边界框内演化水平集曲线来优化实例掩码。
• 提升在遥感与医学影像等挑战性领域中的鲁棒性，这些领域中掩码标注稀缺。
• 缩小全监督与框监督实例分割之间的性能差距。

提出的方法

• 该方法将实例分割建模为使用连续Chan-Vese能量泛函的能量最小化问题，该泛函完全可微，适用于端到端训练。
• 基于SOLOv2的掩码头预测实例感知的掩码图，作为每个物体的初始水平集函数。
• 水平集演化同时依赖原始图像与具有长距离依赖关系的深层特征，从而提升边界精度。
• 通过框投影函数在每次迭代中初始化水平集曲线，确保演化过程始终被约束在标注的边界框区域内。
• 通过迭代优化最小化能量函数，使水平集曲线逐步逼近精确的物体边界。
• 在高层特征上应用树滤波器以保持结构一致性，并建模长距离依赖关系，从而提升特征质量。

实验结果

研究问题

• RQ1 是否可在不依赖复杂伪标签生成流程的前提下，通过可微分水平集演化框架在框监督下实现强大的实例分割性能？
• RQ2 同时引入低层次图像数据与高层次深度特征，对水平集演化的鲁棒性与准确性有何影响？
• RQ3 将水平集演化限制在边界框区域内，是否可减少噪声干扰并提升收敛性？
• RQ4 经树滤波增强的深层结构特征，在遥感与医学影像中能在多大程度上改善水平集演化？
• RQ5 该方法是否可在COCO、Pascal VOC、iSAID和LiTS等多样化基准上，在框监督下实现最先进性能？

主要发现

• 在COCO数据集上，该方法在1×训练设置下达到24.7% AP，在3×设置下达到34.4% AP，显著优于以往的框监督方法。
• 在iSAID遥感数据集上，该方法实现了最先进性能，与现有方法相比展现出显著优势。
• 在LiTS医学影像数据集上，使用树滤波特征时，该方法达到36.3% AP，展现出在低数据量、高变化场景下的强大泛化能力。
• 消融实验表明，同时使用原始图像与深度特征可达到24.7% AP，优于单一输入变体。
• 高层特征通道数的最优值为9，增加至10反而因引入噪声语义信息而降低性能。
• 树滤波使AP提升1.9%（从34.4%提升至36.3%），证明其在保持结构一致性方面对水平集演化具有显著有效性。