[논문 리뷰] DeepCut: Unsupervised Segmentation using Graph Neural Networks Clustering

Amit Aflalo, Shai Bagon외 2명|arXiv (Cornell University)|2022. 12. 12.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

DeepCut는 비지도 이미지 분할에서 전통적인 클러스터링을 대체하기 위해 원시적인 딥 피처와 쌍별 유사도를 직접 사용하는 경량 GNN(그래프 신경망)을 제안한다. 이를 통해 상관관계 클러스터링 손실을 통한 엔드 투 엔드, k 미지의 클러스터링을 실현하며, 후처리 또는 수동으로 클러스터 수를 지정할 필요 없이 최신 기술 수준의 성능을 달성한다. 이는 객체 위치 지정, 분할, 의미적 부분 분할에서 성과를 내고 있다.

ABSTRACT

Image segmentation is a fundamental task in computer vision. Data annotation for training supervised methods can be labor-intensive, motivating unsupervised methods. Current approaches often rely on extracting deep features from pre-trained networks to construct a graph, and classical clustering methods like k-means and normalized-cuts are then applied as a post-processing step. However, this approach reduces the high-dimensional information encoded in the features to pair-wise scalar affinities. To address this limitation, this study introduces a lightweight Graph Neural Network (GNN) to replace classical clustering methods while optimizing for the same clustering objective function. Unlike existing methods, our GNN takes both the pair-wise affinities between local image features and the raw features as input. This direct connection between the raw features and the clustering objective enables us to implicitly perform classification of the clusters between different graphs, resulting in part semantic segmentation without the need for additional post-processing steps. We demonstrate how classical clustering objectives can be formulated as self-supervised loss functions for training an image segmentation GNN. Furthermore, we employ the Correlation-Clustering (CC) objective to perform clustering without defining the number of clusters, allowing for k-less clustering. We apply the proposed method for object localization, segmentation, and semantic part segmentation tasks, surpassing state-of-the-art performance on multiple benchmarks.

연구 동기 및 목표

• 쌍별 유사도를 계산한 후 원시적인 딥 피처를 폐기하는 전통적인 클러스터링 방법의 한계를 해결하기 위해.
• 원시 피처와 유사도 기반 목표를 동시에 최적화하는 GNN를 사용해 엔드 투 엔드 비지도 이미지 분할을 가능하게 하기 위해.
• 상관관계 클러스터링을 자체 지도 학습 손실 함수로 공식화함으로써 클러스터 수를 사전에 정의할 필요 없이 k 미지의 클러스터링을 실현하기 위해.
• 추가적인 후처리 없이 테스트 시 최적화를 통해 다수의 이미지에 걸쳐 의미적 부분 분할을 수행하기 위해.
• 최신 비지도 방법들에 비해 객체 위치 지정, 분할, 부분 수준 분할에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 경량 GNN는 전통적인 그래프 클러스터링 목표, 특히 정규화 컷과 상관관계 클러스터링을 기반으로 한 자체 지도 학습 손실을 사용해 훈련된다.
• GNN는 사전 훈련된 비전 트랜스포머(DINO ViT)로부터 유도된 원시적인 딥 피처와 쌍별 유사도를 입력으로 받아 고차원 피처 정보를 유지한다.
• 상관관계 클러스터링(CC) 목표가 손실 함수로 사용되어, 부정적인 유사도를 통한 이질적인 노드 간의 상반 작용을 모델링함으로써 k 미지의 클러스터링을 가능하게 한다.
• 클러스터 수를 제어하기 위해 k 민감도 하이퍼파rameter α를 도입하여 CC 기능에서 상반 작용의 강도를 조절한다.
• 이중 단계 파이프라인을 사용한다: 먼저 배경과 전경을 분리한 후, 각각에 대해 독립적으로 GNN 기반 클러스터링을 적용함으로써 분할 정확도를 향상시킨다.
• 후처리나 모델 미세조정 없이도 테스트 시 최적화를 통해 각 이미지별로 의미적 부분 분할을 가능하게 한다.

Figure 2: Method overview: After extracting deep features from a pretrained ViT model, we construct a similarity matrix based on the patch-wise feature similarities, which becomes our adjacency matrix. We build a graph using this adjacency matrix and the deep features as node features. Next, we trai

실험 결과

연구 질문

• RQ1 전통적인 그래프 클러스터링 목표를 자체 지도 학습 손실로 활용함으로써 GNN를 엔드 투 엔드 비지도 이미지 분할 모델로 효과적으로 훈련시킬 수 있는가?
• RQ2 원시적인 딥 피처를 클러스터링 과정에 직접 통합함으로써 쌍별 유사도 기반 방법을 초월한 분할 성능 향상을 이룰 수 있는가?
• RQ3 GNN를 통해 상관관계 클러스터링을 최적화함으로써 클러스터 수를 사전에 알지 못한 채 이미지 분할에서 k 미지의 클러스터링을 실현할 수 있는가?
• RQ4 제안된 방법이 후처리 없이 다양한 이미지 간에 암묵적인 의미적 부분 분할을 어느 정도 실현할 수 있는가?
• RQ5 k 민감도 파rameter α는 다양한 데이터셋과 모델에서 클러스터 수와 분할 품질에 어떤 영향을 미치는가?

주요 결과

• DeepCut는 여러 벤치마크에서 비지도 객체 위치 지정, 분할, 의미적 부분 분할에서 최신 기술 수준의 성능을 달성한다.
• 스펙트럴 클러스터링과 연결 성분 기반 기준 모델에 비해 특히 분산과 정확도 면에서 뛰어난 성능을 보이며, 스펙트럴 클러스터링은 높은 분산을 보이고, 연결 성분 방법은 클러스터를 분리하지 못하는 경향이 있다.
• 패션 제품 이미지 데이터셋에서, 상관관계 클러스터링 손실을 사용한 DeepCut는 3, 4, 5개 클래스로 10회 반복 실험에서 가장 높은 분류 순도와 가장 낮은 표준편차를 기록했다.
• k 민감도 파rameter α는 클러스터의 세분성 제어가 가능하다: 작은 값일수록 더 미세한 분할을 제공하며, 다양한 α 설정에서도 유사한 객체(예: 사람, 자전거)의 클러스터링 일관성을 유지한다.
• GNN 기반 접근법은 후처리 없이 암묵적인 의미적 부분 분할을 가능하게 하며, 다양한 이미지에서 의미적으로 유사한 부분들이 일관되게 그룹화됨을 입증했다.
• 상관관계 클러스터링을 미분 가능한 손실 함수로 사용함으로써 이전에는 접근하기 어려웠던 목표를 전통적인 도구로 최적화할 수 있었으며, k 미지의 클러스터링을 위한 엔드 투 엔드 훈련의 가능성은 입증되었다.

Figure 3: Proposed two-stage clustering: First, we cluster the image into two disjoined sets, then apply clustering to the foreground and background separately.