[논문 리뷰] Deep Density-based Image Clustering

Yazhou Ren, Ni Wang외 2명|arXiv (Cornell University)|2018. 12. 11.

Image Retrieval and Classification Techniques참고 문헌 38인용 수 9

한 줄 요약

이 논문은 깊이 학습 기반의 밀도 기반 이미지 클러스터링(DDC)을 제안한다. 이는 깊이 학습 기반의 컨volution 오토에인코더(CAE)를 사용해 저차원 특징을 학습하고, 이후 t-SNE를 통해 2차원 시각화를 수행하며, 사전에 클러스터 수를 지정하지 않고도 임의의 형태의 클러스터를 자동으로 탐지할 수 있는 새로운 밀도 기반 클러스터링 방법을 적용하는 이단계 프레임워크이다. DDC는 클러스터 수가 사전에 알려지지 않은 경우조차도 이미지 클러스터링 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recently, deep clustering, which is able to perform feature learning that favors clustering tasks via deep neural networks, has achieved remarkable performance in image clustering applications. However, the existing deep clustering algorithms generally need the number of clusters in advance, which is usually unknown in real-world tasks. In addition, the initial cluster centers in the learned feature space are generated by $k$-means. This only works well on spherical clusters and probably leads to unstable clustering results. In this paper, we propose a two-stage deep density-based image clustering (DDC) framework to address these issues. The first stage is to train a deep convolutional autoencoder (CAE) to extract low-dimensional feature representations from high-dimensional image data, and then apply t-SNE to further reduce the data to a 2-dimensional space favoring density-based clustering algorithms. The second stage is to apply the developed density-based clustering technique on the 2-dimensional embedded data to automatically recognize an appropriate number of clusters with arbitrary shapes. Concretely, a number of local clusters are generated to capture the local structures of clusters, and then are merged via their density relationship to form the final clustering result. Experiments demonstrate that the proposed DDC achieves comparable or even better clustering performance than state-of-the-art deep clustering methods, even though the number of clusters is not given.

연구 동기 및 목표

• 기존의 깊이 학습 기반 클러스터링 방법이 사전에 클러스터 수를 지정해야 하는 한계를 해결하기 위해.
• 딥 페처 스페이스에서 k-means 기반 클러스터링의 불안정성과 형태 민감성 문제를 극복하기 위해.
• 로컬 클러스터 구조와 포인트 중요도를 포착함으로써 클러스터링의 안정성을 향상시키는 밀도 기반 클러스터링 접근법을 개발하기 위해.
• 클러스터 수가 알려지지 않은 경우에도 이미지 데이터에서 임의의 형태의 클러스터를 자동으로 탐지할 수 있도록 하기 위해.
• 반복적인 오토에인코더 보정에 의존하는 것을 줄이고, 저차원 공간에서의 밀도 인식 기반 클러스터링을 활용함으로써 효율성을 높이기 위해.

제안 방법

• 고차원 이미지 데이터에서 10차원의 저차원 특징 표현을 추출하기 위해 깊이 학습 기반의 컨볼루션 오토에인코더(CAE)를 훈련한다.
• 쌍별 유사성을 유지하면서 CAE가 학습한 특징을 추가로 2차원 공간으로 압축하기 위해 t-SNE를 적용한다. 이는 밀도 기반 클러스터링의 성능을 향상시킨다.
• 지역 밀도 기반으로 로컬 클러스터를 식별하고, 밀도 관계를 이용해 이를 융합하는 새로운 밀도 기반 클러스터링 기법을 개발한다.
• 각 데이터 포인트는 밀도 점수(ρ)와 도달 가능 거리(δ)를 할당받으며, 이는 클러스터 형성과 융합을 안내한다.
• 고밀도 영역 주변에 로컬 클러스터를 생성하고, 밀도 연결성을 기반으로 융합함으로써 비구형 클러스터를 탐지할 수 있다.
• 중간 밀도와 도달 가능 거리를 가지는 경계 포인트를 식별함으로써 클러스터 경계 탐지 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 클러스터링 프레임워크는 사전 지정된 클러스터 수 없이도 클러스터 수를 자동으로 결정할 수 있는가?
• RQ2 2차원 임bedded 공간에서의 밀도 기반 클러스터링은 k-means 기반 방법에 비해 성능과 안정성 면에서 뛰어나게 작용하는가?
• RQ3 CAE와 t-SNE를 조합함으로써 이미지 데이터에서 밀도 기반 클러스터링을 위한 학습된 표현의 질이 향상되는가?
• RQ4 밀도 기반 클러스터링을 사용할 경우, 오토에인코더의 반복적 보정이 반드시 필요한가, 아니면 임베딩된 특징에 직접 클러스터링을 적용하는 것으로 충분한가?
• RQ5 밀도 추정의 비율 파rameter와 같은 하이퍼파ram터 설정에 대해 제안된 방법은 얼마나 강인한가?

주요 결과

• DDC는 클러스터 수를 사전에 알지 못하는 상황에서도 최신 기술 수준의 깊이 학습 기반 클러스터링 방법과 비교해 유사하거나 더 뛰어난 클러스터링 성능을 달성한다.
• MNIST-test 및 USPS 데이터셋에서 DDC는 비율 파라미터의 넓은 범위에서 높은 정확도(ACC)와 정규화된 상호정보량(NMI)을 유지하며, 최적 성능는 0.1에서 달성된다.
• DDC-DA는 MNIST-test에서 737초, USPS에서 583초가 소요되어 ConvDEC-DA와 비교해 경쟁 가능한 효율성을 보인다.
• 시각화 결과는 DDC가 복잡한 비구형 클러스터를 성공적으로 탐지하고, 잘 분리된 영역과 겹치는 영역 모두에서 경계 포인트를 효과적으로 탐지함을 보여준다.
• 시험한 비율 범위 [0.05, 0.16] 내에서 파라미터 설정에 대해 안정적인 성능을 유지하며, 0.1을 기본값으로 사용하는 것이 타당함을 뒷받침한다.
• 실험 결과는 원시 데이터에 직접 t-SNE를 적용할 경우 CAE가 학습한 특징에 적용하는 것보다 더 열 劣한 클러스터링 성능을 보이며, 차원 감소 이전에 표현 학습을 수행하는 것이 유의미한 이점을 제공함을 확인한다.