[논문 리뷰] Quartile Clustering: A quartile based technique for Generating Meaningful Clusters

Saptarsi Goswami, Amlan Chakrabarti|arXiv (Cornell University)|2012. 03. 19.

Advanced Clustering Algorithms Research참고 문헌 14인용 수 10

한 줄 요약

이 논문은 거리나 밀도가 아닌 사분위수 경계를 기반으로 데이터를 분할하여 의미적으로 유의미한 클러스터를 생성하는 새로운 기법인 사분위수 클러스터링을 제안한다. 사분위수로 정의된 클러스터는 비즈니스 분석가에게 더 해석 가능하며, DB 지수로 측정된 클러스터 유효성 측면에서 경쟁력 있는 성능을 유지한다. 이는 K-means보다 의미적 명확성에서 뛰어나고, EM, PAM, K-means와 유사한 클러스터링 품질을 보여준다.

ABSTRACT

Clustering is one of the main tasks in exploratory data analysis and descriptive statistics where the main objective is partitioning observations in groups. Clustering has a broad range of application in varied domains like climate, business, information retrieval, biology, psychology, to name a few. A variety of methods and algorithms have been developed for clustering tasks in the last few decades. We observe that most of these algorithms define a cluster in terms of value of the attributes, density, distance etc. However these definitions fail to attach a clear meaning/semantics to the generated clusters. We argue that clusters having understandable and distinct semantics defined in terms of quartiles/halves are more appealing to business analysts than the clusters defined by data boundaries or prototypes. On the samepremise, we propose our new algorithm named as quartile clustering technique. Through a series of experiments we establish efficacy of this algorithm. We demonstrate that the quartile clustering technique adds clear meaning to each of the clusters compared to K-means. We use DB Index to measure goodness of the clusters and show our method is comparable to EM (Expectation Maximization), PAM (Partition around Medoid) and K Means. We have explored its capability in detecting outlier and the benefit of added semantics. We discuss some of the limitations in its present form and also provide a rough direction in addressing the issue of merging the generated clusters.

연구 동기 및 목표

• 거리, 밀도 또는 프로토타입 기반으로 클러스터를 정의하는 전통적 클러스터링 방법에서 의미적 해석 가능성의 부족을 해결하기 위해.
• 사분위수 기반 경계를 사용하여 클러스터에 명확하고 의미 있는 의미를 부여하는 클러스터링 접근법을 개발하기 위해.
• 비즈니스 분석가의 해석 가능성을 높이기 위해 클러스터 정의를 익숙한 통계 백분위수와 일치시키기 위해.
• DB 지수와 같은 표준 지표를 사용하여 클러스터 품질 및 이방성 탐지 성능을 평가하기 위해.
• 클러스터 병합의 한계를 탐색하고 향후 기술 향상 방향을 제안하기 위해.

제안 방법

• 알고리즘은 각 속성의 첫 번째, 두 번째(중앙값), 세 번째 사분위수를 기반으로 데이터를 클러스터로 분할하여 각 속성당 네 개의 구분된 그룹을 생성한다.
• 각 관측치는 데이터셋 내 속성의 사분위수 경계에 대한 상대적 위치에 따라 클러스터에 할당된다.
• 규칙 기반 할당 시스템을 사용하여 각 데이터 포인트는 모든 속성에 걸쳐 사분위수 위치에서 유도된 클러스터 인덱스로 매핑된다.
• 클러스터 의미는 본질적으로 해석 가능하다: 예를 들어 'Q1-Q2-Q3'로 표기된 클러스터는 한 속성에서는 첫 번째 사분위수 이하, 다른 속성에서는 Q1과 Q2 사이, 세 번째 속성에서는 Q3 초과인 데이터 포인트를 의미한다.
• K-means나 EM과 같이 반복 최적화를 사용하지 않으며, 효율성과 해석 가능성에 기여하는 직접적인 사분위수 기반 분할에 의존한다.
• 클러스터 밀집도와 분리도를 측정하기 위해 Davies-Bouldin(DB) 지수를 사용하여 K-means, EM, PAM와 비교해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 사분위수 경계 기반 클러스터링이 거리나 밀도 기반 기존 방법보다 더 명확하고 해석 가능한 의미를 가진 클러스터를 생성할 수 있는가?
• RQ2 DB 지수로 측정된 클러스터 유효성 측면에서 사분위수 클러스터링의 성능이 K-means, EM, PAM와 같은 기존 알고리즘과 비교해 어떻게 되는가?
• RQ3 사분위수 기반의 데이터 영역 정의에 기반해 사분위수 클러스터링이 이방성을 효과적으로 탐지할 수 있는가?
• RQ4 현재 사분위수 클러스터링 접근법의 한계는 무엇이며, 특히 클러스터 병합 및 확장성 측면에서 어떻게 되는가?
• RQ5 사분위수 기반 클러스터의 의미적 명확성이 실제 의사결정 과정에서 비즈니스 분석가의 사용성 향상에 기여할 수 있는가?

주요 결과

• 사분위수 클러스터링은 사분위수 위치에 의해 정의된 명확하고 해석 가능한 의미를 가진 클러스터를 생성하여, 의미적 의미가 없는 K-means에 비해 해석 가능성에서 뚜렷한 향상을 보였다.
• 사분위수 클러스터링의 DB 지수는 EM, PAM, K-means와 유사하여 클러스터의 밀집도와 분리도 측면에서 뛰어난 성능을 나타냈다.
• 이론적으로 예상되는 사분위수 범위를 벗어나는 데이터 포인트를 고립시킴으로써 이방성을 효과적으로 탐지할 수 있었다.
• 저자들은 이 방법이 의미적으로 뛰어나지만 현재는 클러스터 병합을 위한 메커니즘이 없어 고차원 또는 복잡한 데이터에서 한계가 있음을 관찰했다.
• 반복 최적화가 필요 없고 규칙 기반 할당 방식을 사용함으로써 계산이 효율적이므로, 대규모 또는 실시간 응용에 적합하다.
• 이 연구는 사분위수 기반 클러스터링이 의미 해석성이 클러스터링 품질만큼 중요한 분야에서 기존 방법의 실질적인 대안이 될 수 있음을 보여주었다.