[논문 리뷰] A review of mean-shift algorithms for clustering

Miguel Á. Carreira-Perpiñán|arXiv (Cornell University)|2015. 03. 02.

Advanced Clustering Algorithms Research참고 문헌 9인용 수 100

한 줄 요약

이 논문은 커널 밀도 추정(KDE) 기반의 평균 이동 클러스터링 알고리즘에 대한 종합적인 리뷰를 제공하며, 임의의 형태를 가진 클러스터를 식별하는 비모수적 모드 탐색에 중점을 둔다. 이는 이론적 기초, 수렴 성질, 실용적 확장 기법(가속화 기법, 스펙트럼 클러스터링과의 연결, 영상 분할 및 다양체 노이즈 제거 응용 포함)을 상세히 기술하며, 파rametric 클러스터링 방법에 대한 강건하고 초기화가 불필요한 대안으로서의 가능성을 입증한다.

ABSTRACT

A natural way to characterize the cluster structure of a dataset is by finding regions containing a high density of data. This can be done in a nonparametric way with a kernel density estimate, whose modes and hence clusters can be found using mean-shift algorithms. We describe the theory and practice behind clustering based on kernel density estimates and mean-shift algorithms. We discuss the blurring and non-blurring versions of mean-shift; theoretical results about mean-shift algorithms and Gaussian mixtures; relations with scale-space theory, spectral clustering and other algorithms; extensions to tracking, to manifold and graph data, and to manifold denoising; K-modes and Laplacian K-modes algorithms; acceleration strategies for large datasets; and applications to image segmentation, manifold denoising and multivalued regression.

연구 동기 및 목표

• 비모수적 커널 밀도 추정 기반 평균 이동 알고리즘의 통합된 이론적 및 실용적 개요 제공
• 가우시안 혼합 모델과 같은 파rametric 클러스터링 방법의 한계(초기화 민감도, 복잡한 비볼록 클러스터 형태 모델링 어려움) 해결
• 평균 이동과 스펙트럼 클러스터링, K-means 변종과 같은 다른 클러스터링 철학 간의 관계 탐색
• 대규모 데이터셋에 대한 효율적 확장 및 다양체 및 그래프 구조 데이터로의 확장 기법 제시
• 영상 분할, 다중값 회귀, 다양체 노이즈 제거와 같은 실제 응용에서의 평균 이동의 효과성 입증

제안 방법

• 데이터 포인트의 기저 확률 밀도를 추정하기 위해 가우시안 또는 에파네치니코프 커널을 사용한 커널 밀도 추정(KDE)를 적용하며, 이는 $ p(\mathbf{x}) = \frac{1}{N}\sum_{n=1}^{N} K\left(\left\| \frac{\mathbf{x}-\mathbf{x}_n}{\sigma} \right\|^2 \right) $ 로 정의되며, 여기서 $ \sigma $ 는 대역폭이다.
• 평균 이동 반복을 통해 KDE의 국소 최대값(모드)을 찾기 위해, 업데이트 규칙 $ \mathbf{x}_{t+1} = \frac{\sum_{n=1}^{N} K\left(\left\| \frac{\mathbf{x}_t - \mathbf{x}_n}{\sigma} \right\|^2 \right) \mathbf{x}_n}{\sum_{n=1}^{N} K\left(\left\| \frac{\mathbf{x}_t - \mathbf{x}_n}{\sigma} \right\|^2 \right)} $ 를 사용하며, 이는 점진적으로 밀도가 높은 영역으로 점을 이동시킨다.
• 블러링 및 블러링이 없는 평균 이동의 변종을 분석하며, 후자는 원래 데이터 구조를 더 잘 유지하고 더 정확한 모드 탐지가 가능하다.
• 정확히 $ K $ 개의 클러스터를 강제하고 각 클러스터당 하나의 모드를 갖도록 하는 $ K $-모드 및 라플라스 $ K $-모드 알고리즘을 도입하여 고차원 데이터에서의 성능 향상에 기여한다.
• 근사 근접 이웃 및 증분 연결 성분 탐지와 같은 가속화 기법을 제안하여, 조밀한 클러스터 가정 하에 계산 비용을 $ \mathcal{O}(DN^2) $ 에서 $ \mathcal{O}(DNK) $ 로 감소시킨다.
• 연결 성분 후처리를 통해 동일한 모드로 수렴하는 수치적으로 다른 점들을 병합하며, 클러스터 연결성을 정의하기 위해 임계값 $ \epsilon $ 을 사용한다.

실험 결과

연구 질문

• RQ1 커널 밀도 추정 기반 평균 이동 알고리즘이 초기화 민감도와 클러스터 형태의 유연성 측면에서 파rametric 클러스터링 방법보다 어떻게 비교되는가?
• RQ2 평균 이동 알고리즘의 이론적 수렴 성질은 무엇이며, KDE의 모드 수와 위치와 어떻게 관련되어 있는가?
• RQ3 알고리즘 가속화 및 데이터 구조 최적화를 통해 평균 이동을 대규모 데이터셋에 어떻게 효율적으로 확장할 수 있는가?
• RQ4 평균 이동과 스펙트럼 클러스터링, $ K $-means와 같은 다른 클러스터링 방법 간의 관계는 무엇인가?
• RQ5 평균 이동은 다양체 구조 데이터로 어떻게 확장될 수 있으며, 영상 분할 및 다양체 노이즈 제거와 같은 작업에 어떻게 활용될 수 있는가?

주요 결과

• 평균 이동 클러스터링은 초기화가 불필요하며, 커널 밀도 추정의 모드를 찾아 임의의 비볼록 형태의 클러스터를 자연스럽게 식별한다.
• 이론적 분석을 통해 평균 이동이 KDE의 모드로 수렴하며, 주어진 대역폭에 대해 모드의 수와 위치가 명확히 정의됨을 확인한다.
• 블러링이 없는 평균 이동 변종은 블러링 버전보다 데이터 구조를 더 잘 유지하여 더 정확한 클러스터 경계를 제공한다.
• 가속화 전략을 통해 조밀한 클러스터 가정 하에 평균 이동의 계산 비용을 $ \mathcal{O}(DN^2) $ 에서 $ \mathcal{O}(DNK) $ 로 감소시켜 대규모 데이터셋에 대한 적용 가능성을 확보한다.
• $ K $-모드 및 라플라스 $ K $-모드 알고리즘은 정확히 $ K $ 개의 클러스터를 강제하고 각 클러스터당 하나의 모드를 갖도록 하여 고차원 데이터에서의 성능 향상에 기여한다.
• 임계값 $ \epsilon $ 을 사용한 연결 성분 후처리를 통해 동일한 모드로 수렴하는 점들을 효율적으로 병합할 수 있으며, 클러스터가 잘 분리되어 있을 경우 최소한의 계산 오버헤드로 수행된다.