[论文解读] DeepCut: Unsupervised Segmentation using Graph Neural Networks Clustering

Amit Aflalo, Shai Bagon+2 more|arXiv (Cornell University)|Dec 12, 2022

Advanced Graph Neural Networks被引用 5

一句话总结

DeepCut 提出了一种轻量级图神经网络（GNN），通过直接使用原始深度特征和成对亲和力，用其替代无监督图像分割中的经典聚类方法，实现了端到端、无需指定聚类数 k 的聚类，方法基于相关性聚类损失。该方法在对象定位、分割以及语义部件分割任务中均取得了最先进性能，且无需后处理或手动指定聚类数量。

ABSTRACT

Image segmentation is a fundamental task in computer vision. Data annotation for training supervised methods can be labor-intensive, motivating unsupervised methods. Current approaches often rely on extracting deep features from pre-trained networks to construct a graph, and classical clustering methods like k-means and normalized-cuts are then applied as a post-processing step. However, this approach reduces the high-dimensional information encoded in the features to pair-wise scalar affinities. To address this limitation, this study introduces a lightweight Graph Neural Network (GNN) to replace classical clustering methods while optimizing for the same clustering objective function. Unlike existing methods, our GNN takes both the pair-wise affinities between local image features and the raw features as input. This direct connection between the raw features and the clustering objective enables us to implicitly perform classification of the clusters between different graphs, resulting in part semantic segmentation without the need for additional post-processing steps. We demonstrate how classical clustering objectives can be formulated as self-supervised loss functions for training an image segmentation GNN. Furthermore, we employ the Correlation-Clustering (CC) objective to perform clustering without defining the number of clusters, allowing for k-less clustering. We apply the proposed method for object localization, segmentation, and semantic part segmentation tasks, surpassing state-of-the-art performance on multiple benchmarks.

研究动机与目标

• 解决经典聚类方法在计算成对亲和力后丢弃原始深度特征的局限性。
• 通过联合优化原始特征与基于亲和力的目标，实现端到端无监督图像分割的 GNN 模型。
• 通过将相关性聚类建模为自监督损失函数，实现无需预设聚类数的 k 无关聚类。
• 通过推理时优化，在无需额外微调或后处理的情况下，实现跨多张图像的语义部件分割。
• 与最先进无监督方法相比，在对象定位、分割以及部件级分割任务中表现出更优性能。

提出的方法

• 使用源自经典图聚类目标（特别是归一化割与相关性聚类）的自监督损失，训练轻量级 GNN。
• GNN 同时接收来自预训练 Vision Transformer（DINO ViT）的原始深度特征与成对亲和力作为输入，保留高维特征信息。
• 将相关性聚类（CC）目标用作损失函数，通过负亲和力建模不同节点间的排斥力，实现 k 无关聚类。
• 引入一个控制聚类数量的 k 敏感超参数 α，通过调节 CC 函数中排斥力的强度来调控聚类粒度。
• 采用两阶段流程：首先分离前景与背景，然后对每一类独立应用基于 GNN 的聚类，从而提升分割精度。
• 对每张图像应用推理时优化，实现无需模型微调或后处理的语义部件分割。

Figure 2: Method overview: After extracting deep features from a pretrained ViT model, we construct a similarity matrix based on the patch-wise feature similarities, which becomes our adjacency matrix. We build a graph using this adjacency matrix and the deep features as node features. Next, we trai

实验结果

研究问题

• RQ1 能否通过将经典图聚类目标作为自监督损失，有效训练 GNN 作为端到端无监督图像分割模型？
• RQ2 如何将原始深度特征直接整合到聚类过程中，以超越仅依赖成对亲和力的方法，提升分割性能？
• RQ3 能否通过 GNN 优化相关性聚类，实现在图像分割中无需预知聚类数量的 k 无关聚类？
• RQ4 所提方法在无需后处理的情况下，能在多幅多样化图像中实现多大程度的隐式语义部件分割？
• RQ5 k 敏感超参数 α 在不同数据集与模型上如何影响聚类数量与分割质量？

主要发现

• DeepCut 在多个基准数据集上实现了无监督对象定位、分割以及语义部件分割的最先进性能。
• 该方法优于经典基线方法（如谱聚类与连通组件法），尤其在方差与准确率方面表现更优；其中谱聚类方差较高，连通组件法难以分离聚类。
• 在 Fashion Product Images 数据集上，使用相关性聚类损失的 DeepCut 在 10 次重复实验中，针对 3、4 和 5 个类别的分类纯度最高，标准差最低。
• k 敏感超参数 α 可控制聚类粒度：值越小，聚类越精细，同时在不同 α 设置下仍能保持对相似物体（如人与自行车）的一致聚类。
• 基于 GNN 的方法可在无需后处理的情况下实现隐式语义部件分割，表现为在不同图像中对语义上相似的图像部件保持一致分组。
• 将相关性聚类作为可微分损失函数，使原本难以处理的目标可通过经典优化工具进行优化，证明了无需 k 的端到端训练在可行性方面具有优势。

Figure 3: Proposed two-stage clustering: First, we cluster the image into two disjoined sets, then apply clustering to the foreground and background separately.