[논문 리뷰] A review of systematic selection of clustering algorithms and their evaluation

Marc Wegmann, Domenique Zipperling외 2명|arXiv (Cornell University)|2021. 06. 24.

Advanced Clustering Algorithms Research참고 문헌 28인용 수 10

한 줄 요약

이 논문은 데이터 특성과 문제 요구사항을 바탕으로 클러스터링 알고리즘과 검증 방법을 체계적으로 선정하는 프레임워크를 제안한다. 데이터 특성에 기반한 평가 기준, 의사코드 기반의 결정 루틴, 평가 지침을 도입하여 사용자가 최적의 클러스터링 접근법을 선택하고 결과를 효과적으로 해석하는 데 도움을 준다.

ABSTRACT

Data analysis plays an indispensable role for value creation in industry. Cluster analysis in this context is able to explore given datasets with little or no prior knowledge and to identify unknown patterns. As (big) data complexity increases in the dimensions volume, variety, and velocity, this becomes even more important. Many tools for cluster analysis have been developed from early on and the variety of different clustering algorithms is huge. As the selection of the right clustering procedure is crucial to the results of the data analysis, users are in need for support on their journey of extracting knowledge from raw data. Thus, the objective of this paper lies in the identification of a systematic selection logic for clustering algorithms and corresponding validation concepts. The goal is to enable potential users to choose an algorithm that fits best to their needs and the properties of their underlying data clustering problem. Moreover, users are supported in selecting the right validation concepts to make sense of the clustering results. Based on a comprehensive literature review, this paper provides assessment criteria for clustering method evaluation and validation concept selection. The criteria are applied to several common algorithms and the selection process of an algorithm is supported by the introduction of pseudocode-based routines that consider the underlying data structure.

연구 동기 및 목표

• 복잡하고 고차원적인 데이터에 대해 수많은 선택지가 존재하는 상황에서 적절한 클러스터링 알고리즘을 선택하는 데 도전하는 것.
• 실무자들이 특정 데이터 구조와 분석 목표에 가장 적합한 클러스터링 방법을 식별하는 데 지원하는 것.
• 클러스터링 결과를 검증하고 의미 있는 해석을 보장하기 위한 체계적인 평가 프레임워크를 제공하는 것.
• 문헌 검토와 실증 분석에 기반한 데이터 기반의 결정 기준을 도입하여 알고리즘 선택의 주관성을 줄이는 것.
• 표준화된 선택 및 검증 절차를 통해 클러스터링 분석의 재현 가능성과 신뢰성을 향상시키는 것.

제안 방법

• 클러스터링 알고리즘 선택 및 검증을 위한 핵심 기준을 식별하기 위해 종합적인 문헌 검토를 수행한다.
• 데이터 특성(체적, 다양성, 속도 등)과 알고리즘 특성에 기반한 평가 기준을 정의한다.
• 입력 데이터 구조와 문제 맥락에 따라 알고리즘 선택을 안내하는 의사코드 기반의 루틴을 개발한다.
• 데이터 유형과 크기에 따라 적합성이 다른 일반적인 클러스터링 알고리즘(K-means, DBSCAN, 계층적 클러스터링 등)을 분류한다.
• 검증 개념 선택을 프레임워크에 통합하여 실루엣 점수, Calinski-Harabasz 지수, Davies-Bouldin 지수와 같은 지표를 권장한다.
• 실제 응용 사례에 프레임워크를 적용하여 사용성과 의사결정 지원 효과를 입증한다.

실험 결과

연구 질문

• RQ1 데이터 특성에 기반해 클러스터링 알고리즘을 체계적으로 선택하는 데 지침이 되는 기준은 무엇인가?
• RQ2 표준화된 검증 개념을 사용해 사용자가 클러스터링 결과의 품질을 신뢰성 있게 평가할 수 있는 방법은 무엇인가?
• RQ3 데이터 차원(체적, 다양성, 속도)이 가장 적합한 클러스터링 알고리즘을 결정하는 데 어떤 역할을 하는가?
• RQ4 의사코드 기반의 루틴은 알고리즘 선택의 투명성과 재현 가능성에 어떻게 기여하는가?
• RQ5 다양한 유형의 클러스터링 결과와 데이터 구조에 대해 가장 효과적인 검증 지표는 무엇인가?

주요 결과

• 제안된 프레임워크는 사용자가 데이터 특성에 맞게 클러스터링 알고리즘을 체계적으로 매칭시켜 히ュ리스틱 선택에 의존하는 것을 줄여준다.
• 데이터 구조와 차원성은 알고리즘 성능에 중대한 영향을 미치며, K-means는 구형이고 조밀한 클러스터에서 뛰어난 성능을 보이고, DBSCAN은 비정규적 또는 노이즈가 많은 데이터에서 유리하다.
• 실루엣 점수와 Calinski-Harabasz 지수와 같은 검증 지표는 클러스터 품질 평가를 위한 측정 가능한 기준을 제공한다.
• 의사코드 기반의 루틴 통합은 투명성 향상과 클러스터링 워크플로우에서 재현 가능한 의사결정 지원에 기여한다.
• 검증 기법을 데이터의 본질적 특성과 알고리즘 행동에 맞추어 일치시킴으로써 프레임워크는 클러스터링 결과의 해석 가능성 향상에 기여한다.
• 본 연구는 체계적인 선택이 다양한 산업 및 분석적 맥락에서 더 신뢰할 수 있고 의미 있는 클러스터링 결과를 도출하는 데 기여함을 입증한다.