[논문 리뷰] Medoid Silhouette clustering with automatic cluster number selection

Lars Lenssen, Erich Schubert|arXiv (Cornell University)|2023. 09. 07.

Advanced Clustering Algorithms Research인용 수 4

한 줄 요약

이 논문은 캐싱과 부분 계산을 활용하여 원래의 PAMMEDSIL 대비 최대 10,464배 빠른 성능을 달성하는, 메디오이드 실루엣을 직접 최적화하는 데에 효율적인 FastMSC와 DynMSC를 제안한다. 또한, k 값 간의 중복 계산을 방지함으로써 최적의 클러스터 수를 자동으로 선택하는 DynMSC를 도입하여, MNIST와 같은 대규모 데이터셋(30,000개 샘플)에서도 확장성 있고 안정적인 클러스터링을 가능하게 한다.

ABSTRACT

The evaluation of clustering results is difficult, highly dependent on the evaluated data set and the perspective of the beholder. There are many different clustering quality measures, which try to provide a general measure to validate clustering results. A very popular measure is the Silhouette. We discuss the efficient medoid-based variant of the Silhouette, perform a theoretical analysis of its properties, provide two fast versions for the direct optimization, and discuss the use to choose the optimal number of clusters. We combine ideas from the original Silhouette with the well-known PAM algorithm and its latest improvements FasterPAM. One of the versions guarantees equal results to the original variant and provides a run speedup of $O(k^2)$. In experiments on real data with 30000 samples and $k$=100, we observed a 10464$ imes$ speedup compared to the original PAMMEDSIL algorithm. Additionally, we provide a variant to choose the optimal number of clusters directly.

연구 동기 및 목표

• 대규모 데이터셋에 대해 클러스터링을 위한 메디오이드 실루엣 최적화의 계산 비효율성을 해결하기 위해.
• 반복적 검색이나 휘도 기반 전략 없이 메디오이드 실루엣을 직접 최적화하는 빠르고 확장 가능한 알고리즘을 개발하기 위해.
• 다른 k 값 간의 중간 결과를 재사용하여 최적의 클러스터 수를 자동으로 선택할 수 있도록 하기 위해.
• 기존의 표준 클러스터링 평가 및 선택 방법에 대한 이론적으로 타당하고 경험적으로 안정적인 대안을 제공하기 위해.

제안 방법

• PAM의 변종인 FastMSC를 제안하여, 반복적인 거리 계산을 줄이기 위해 가장 가까운 메디오이드 거리를 캐시함으로써 PAMMEDSIL 대비 O(k²)의 속도 향상을 달성한다.
• 이중 단계 최적화를 도입함: 먼저 FasterPAM을 사용해 메디오이드 후보를 계산하고, 이후 메디오이드 실루엣 기반 스왑을 통해 정밀 조정한다.
• 이전 클러스터링 구조를 재사용하고 반복적인 거리 계산을 최소화함으로써 k=2부터 k=max까지 점진적으로 클러스터링을 구축하는 동적 알고리즘인 DynMSC를 개발한다.
• 목적 함수로 평균 실루엣 너비(Average Silhouette Width, ASW)를 사용하며, 클러스터 정밀 조정 중에 효율적인 점진적 업데이트를 가능하게 하는 새로운 수식을 제안한다.
• 메디오이드 스왑 시 모든 쌍의 거리를 다시 계산하지 않는 부분 계산 전략을 적용하여 시간 복잡도를 크게 감소시킨다.
• 메디오이드 실루엣을 클러스터링 목적 함수이자 클러스터 수 선택 기준으로 통합하여 종단 간 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 히ュ리스틱 기반 또는 다중 재시작 없이도 대규모 클러스터링에 대해 메디오이드 실루엣을 효율적으로 최적화할 수 있는가?
• RQ2 수만 개의 점을 포함한 데이터셋에 대해 메디오이드 실루엣 평가의 계산 비용을 어떻게 줄여 실용적인 수준으로 만들 수 있는가?
• RQ3 다른 k 값 간의 중간 결과를 재사용함으로써 최적의 클러스터 수를 자동으로 선택할 수 있는가?
• RQ4 메디오이드 실루엣을 직접 최적화하면 표준 k-메디오이드 또는 k-평균과 비교해 더 나은 또는 더 안정적인 클러스터링을 얻을 수 있는가?
• RQ5 제안된 알고리즘의 성능가 기존의 구현체인 scikit-learn의 k-means 및 FasterPAM과 비교해 어떻게 되는가?

주요 결과

• FastMSC는 k=100일 때 30,000개 샘플 데이터셋에서 원래의 PAMMEDSIL 알고리즘 대비 10,464배 빠른 성능을 기록하여 캐싱과 부분 계산의 효과를 입증한다.
• k=2에서 50까지 반복적인 FastMSC 실행 대비 DynMSC는 스왑 수를 2.15배 줄여 1.97배의 속도 향상을 달성한다.
• 반복적인 실루엣 점수 계산을 피하기 때문에, scikit-learn의 k-means보다 DynMSC는 9.01배 더 빠르다.
• 평균 메디오이드 실루엣은 바람직한 이론적 성질를 만족하며, 유전자 발현 데이터에서 인간 검증된 클러스터 품질과 잘 상관된다.
• 모든 거리를 다시 계산하지 않고도 k 값 간의 ASW 평가를 통해 최적의 클러스터 수를 효과적으로 식별할 수 있다.
• MNIST 데이터에서 DynMSC는 최소한의 중복 계산으로 높은 성능을 달성하여, 런타임과 효율성 면에서 FastMSC 및 scikit-learn k-means를 모두 능가한다.