[论文解读] Learning the Superpixel in a Non-iterative and Lifelong Manner

Lei Zhu, Qi She+5 more|arXiv (Cornell University)|Mar 19, 2021

Medical Image Segmentation Techniques参考文献 30被引用 4

一句话总结

本文提出LNS-Net，一种基于非迭代、持续学习的卷积神经网络方法，用于无监督超像素生成，无需人工标注和迭代优化。通过使用轻量级特征编码器、非迭代基于种子的聚类方法，以及梯度重标度技术以防止灾难性遗忘，LNS-Net在FLOPs降低9倍、模型参数量减少20倍的前提下，实现了SOTA性能，显著优于如SSN等监督方法，同时在多种数据集上保持了优异的轮廓贴合度。

ABSTRACT

Superpixel is generated by automatically clustering pixels in an image into hundreds of compact partitions, which is widely used to perceive the object contours for its excellent contour adherence. Although some works use the Convolution Neural Network (CNN) to generate high-quality superpixel, we challenge the design principles of these networks, specifically for their dependence on manual labels and excess computation resources, which limits their flexibility compared with the traditional unsupervised segmentation methods. We target at redefining the CNN-based superpixel segmentation as a lifelong clustering task and propose an unsupervised CNN-based method called LNS-Net. The LNS-Net can learn superpixel in a non-iterative and lifelong manner without any manual labels. Specifically, a lightweight feature embedder is proposed for LNS-Net to efficiently generate the cluster-friendly features. With those features, seed nodes can be automatically assigned to cluster pixels in a non-iterative way. Additionally, our LNS-Net can adapt the sequentially lifelong learning by rescaling the gradient of weight based on both channel and spatial context to avoid overfitting. Experiments show that the proposed LNS-Net achieves significantly better performance on three benchmarks with nearly ten times lower complexity compared with other state-of-the-art methods.

研究动机与目标

• 解决现有基于CNN的超像素方法依赖昂贵人工标注和迭代优化的局限性。
• 将超像素分割重新定义为持续学习任务，以实现在无灾难性遗忘情况下的在线、顺序模型适应。
• 开发一种轻量化、无监督的CNN框架，实现高效、无需迭代优化的高质量超像素生成。
• 提升在多样化领域（包括弱轮廓和噪声纹理的医学影像）中的泛化能力。
• 在极低计算成本和极小模型尺寸下实现高性能，支持实时部署。

提出的方法

• LNS-Net由三个模块组成：用于生成低复杂度聚类友好特征的特征编码模块（FEM）。
• 非迭代聚类模块（NCM）通过种子预测层（SEL）直接预测最优聚类中心（种子节点），并基于特征相似性通过聚类层分配像素。
• 梯度重标度模块（GRM）结合梯度自适应层（GAL）与梯度双向层（GBL），利用通道和空间上下文动态重标度梯度，以防止持续学习过程中的过拟合。
• 引入范围受限的聚类损失，使网络在完全无监督条件下进行训练，无需真实标签。
• 模型以持续学习方式顺序训练，支持对新数据流的在线适应，无需从头开始训练。
• 通过在单次前向传播中直接估计种子位置，避免了迭代聚类优化，实现实时推理。

Figure 1: The illustration of the workflow for the proposed LNS-Net, where the top row is the visualization of the features and the bottom is the distribution of the labels jetting in the feature space. The blue ”x” is the generated seed node.

实验结果

研究问题

• RQ1 超像素分割能否被有效重新定义为持续学习任务，以实现在无监督条件下的顺序、在线适应？
• RQ2 基于CNN的超像素方法如何在保持高轮廓贴合度和低计算成本的同时实现非迭代聚类？
• RQ3 无监督、轻量化的CNN在准确率和跨多样化图像领域泛化能力方面，相较于现有监督与无监督方法，能实现多大程度的超越？
• RQ4 基于通道和空间上下文的梯度重标度在缓解超像素网络持续训练过程中的灾难性遗忘方面，效果如何？
• RQ5 所提方法在弱边界和高噪声的医学影像任务（如视网膜和OCT图像）中是否具备良好泛化能力？

主要发现

• 在BSDS500数据集上，LNS-Net取得0.962的ASA分数，优于所有无监督方法，并接近监督方法SSN的0.970 ASA。
• 在DRIVE视网膜数据集上，LNS-Net取得最高ASA（0.953）和第二高BR（0.833），在规则性和速度方面甚至优于基于图的ERS方法。
• 在DRIVE数据集上，LNS-Net的速度是ERS的46倍，模型尺寸仅为SSN的1/20，FLOPs减少9倍。
• 在DME数据集上，尽管存在领域分布偏移和噪声，LNS-Net仍保持强劲性能，显著优于SSN（后者在该条件下严重退化）。
• 该模型在准确率与效率方面均达到SOTA水平，相比SSN，FLOPs降低9倍，模型尺寸缩小20倍，且完全无监督。
• 可视化结果表明，LNS-Net生成的超像素更规则，轮廓贴合度更高，尤其在视网膜和OCT图像等复杂与噪声区域表现更优。

Figure 2: The training strategy of our LSN-Net and other learning-based superpixel segmentation methods. “Ellipses” with different colors mean different clustering tasks (images). Each “dot” means the parameters of the network during training progress. A. The multi-task learning strategy, which lear