[논문 리뷰] DeepCluE: Enhanced Image Clustering via Multi-layer Ensembles in Deep Neural Networks

Dong Huang, Ding-Hua Chen외 3명|arXiv (Cornell University)|2022. 06. 01.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

DeepCluE는 앙상블 클러스터링을 통해 다층 특징 표현을 활용함으로써 성능을 햖थ시키는 새로운 딥 이미지 클러스터링 프레임워크를 제안한다. 인스턴스 수준과 클러스터 수준의 대비 학습을 통해 가중치 공유 CNN을 훈련하고, 여러 층에서 특징을 추출하며, 양방향 그래프 분할 전략에 엔트로피 기반 클러스터 가중치를 적용함으로써, DeepCluE는 여섯 개의 이미지 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여 기존의 단일 층 기반 딥 클러스터링 방법을 능가한다.

ABSTRACT

Deep clustering has recently emerged as a promising technique for complex data clustering. Despite the considerable progress, previous deep clustering works mostly build or learn the final clustering by only utilizing a single layer of representation, e.g., by performing the K-means clustering on the last fully-connected layer or by associating some clustering loss to a specific layer, which neglect the possibilities of jointly leveraging multi-layer representations for enhancing the deep clustering performance. In view of this, this paper presents a Deep Clustering via Ensembles (DeepCluE) approach, which bridges the gap between deep clustering and ensemble clustering by harnessing the power of multiple layers in deep neural networks. In particular, we utilize a weight-sharing convolutional neural network as the backbone, which is trained with both the instance-level contrastive learning (via an instance projector) and the cluster-level contrastive learning (via a cluster projector) in an unsupervised manner. Thereafter, multiple layers of feature representations are extracted from the trained network, upon which the ensemble clustering process is further conducted. Specifically, a set of diversified base clusterings are generated from the multi-layer representations via a highly efficient clusterer. Then the reliability of clusters in multiple base clusterings is automatically estimated by exploiting an entropy-based criterion, based on which the set of base clusterings are re-formulated into a weighted-cluster bipartite graph. By partitioning this bipartite graph via transfer cut, the final consensus clustering can be obtained. Experimental results on six image datasets confirm the advantages of DeepCluE over the state-of-the-art deep clustering approaches.

연구 동기 및 목표

• 기존의 딥 클러스터링 방법이 단일 층의 표현에 의존함으로써 네트워크 깊이의 다양한 정보를 누락할 수 있는 한계를 해결하기 위해.
• 딥 클러스터링과 앙상블 클러스터링 사이의 격차를 해소하기 위해 딥 신경망의 여러 층에서 유래한 다양한 특징을 공동으로 활용하기 위해.
• 앙성 프레임워크 내에서 엔트로피 기반 가중치 부여 방식을 통해 클러스터 신뢰도를 모델링함으로써 클러스터링의 강건성과 정확도를 향상시키기 위해.
• 대비 학습, 다층 특징 추출, 공감 클러스터링을 통합한 통합적이고 엔드 투 엔드로 훈련 가능한 파이프라인을 개발하기 위해.

제안 방법

• 독립적인 프로젝터를 통해 인스턴스 수준과 클러스터 수준의 대비 학습을 동시에 수행하며, 가중치 공유 컨volutional 신경망을 비지도 학습 방식으로 훈련한다.
• 훈련된 네트워크에서 여러 층의 특징 표현을 추출하여 다양한 추상화 수준에서의 계층적 의미 정보를 캡처한다.
• 고도로 효율적인 U-SPEC 알고리즘이 다층 특징에서 다양화된 기본 클러스터링 세트를 생성한다.
• 엔트로피 기반 기준이 모든 기본 클러스터링에 걸쳐 클러스터의 신뢰도 가중치를 평가하고 할당하며, 내부 및 상호 클러스터링 불확실성을 고려한다.
• 가중치가 부여된 클러스터링은 가중치가 부여된 클러스터 이분 그래프로 모델링되며, 공감 클러스터링은 전이 컷 기반 분할을 통해 도출된다.
• 최종 클러스터링은 이분 그래프를 최적화하여 일치도를 극대화하면서도 클러스터 신뢰도 점수를 존중하도록 한다.

실험 결과

연구 질문

• RQ1 딥 신경망의 다층 표현을 공동으로 활용함으로써 단일 층 기반 접근 방식을 초월한 이미지 클러스터링 성능 향상을 달성할 수 있는가?
• RQ2 여러 개의 기본 클러스터링에 걸친 클러스터 신뢰도를 자동으로 평가하고 활용하여 공감 클러스터링을 향상시킬 수 있는가?
• RQ3 앙성 크기와 클러스터 가중치가 다층 딥 클러스터링 프레임워크에서 최종 클러스터링 품질에 미치는 영향은 무엇인가?
• RQ4 인스턴스 수준과 클러스터 수준의 대비 학습을 모두 통합함으로써 다층 특징의 클러스터링 품질이 향상되는가?

주요 결과

• DeepCluE는 여섯 개의 벤치마크 이미지 데이터셋에서 최신 기술 수준 성능을 달성하였으며, NMI, ARI, ACC 측정치에서 기존의 딥 클러스터링 방법을 일관되게 능가한다.
• 클러스터별 가중치 부여의 포함이 클러스터링 성능 향상에 크게 기여하며, 제거 실험을 통해 모든 데이터셋에서 일관된 성능 향상이 확인되었다.
• 앙성 크기(즉, 기본 클러스터링 수)를 증가시킬수록 클러스터링 품질이 향상되며, 높은 앙성 크기에서 성능이 안정화됨을 확인하였다.
• 제거 실험 결과, 가중치가 부여된 클러스터를 사용한 본 논문의 방법이 여섯 개의 모든 데이터셋에서 균일한 클러스터 가중치를 사용한 변형보다 우수한 성능을 보였다.
• 작은 규모(Fashion, CIFAR)와 큰 규모(Tiny-ImageNet, ImageNet)의 다양한 이미지 데이터에 대해 프레임워크가 강건성과 안정성을 보였다.