[논문 리뷰] Truecluster: scalable statistical clustering with model selection

Jens Oehlschlägel|arXiv (Cornell University)|2006. 01. 02.

Advanced Clustering Algorithms Research참고 문헌 18인용 수 1

한 줄 요약

Truecluster는 특정 분포, 거리 척도, 클러스터 형태를 가정하지 않고 객관적인 모델 선택을 가능하게 하는 확장성 있고 모델에 종속되지 않는 통계적 프레임워크를 도입한다. 표본 기반 클러스터 정보 기준(CIC)을 활용함으로써 강건한 클러스터 할당과 진단을 보장하여 대규모 데이터셋 및 과학 연구의 자동화에 적합하다.

ABSTRACT

Data based classification is fundamental to most branches of science. Despite of progress in statistical computing and predictive modelling, cluster analysis until today lacks model selection robustness and scalability to large datasets. We consider the important problem of deciding about the optimal number of clusters given an arbitrary definition of space and clusteriness. We show how to construct a Cluster Information Criterion that allows objective model selection. Differing from other approaches, our truecluster method does not require specific assumptions about underlying distributions, distance definitions or cluster models. Truecluster puts arbitrary clustering algorithms into a generic unified (sampling based) statistical framework. It is scalable to big datasets and provides robust cluster assignments and casewise diagnostics. Truecluster will make clustering more objective, allows for automation and will save time and costs. ∗ www.truecluster.com Copyright (C) Dr. Jens Oehlschlägel 2005, all rights reserved. We thank Thomas Augustin and Stefan Pilz for their helpful comments on the draft of this paper. 1

연구 동기 및 목표

• 특히 대규모 데이터셋에서의 강건한 모델 선택 부족 문제를 해결한다.
• 기존 클러스터링 방법이 특정 분포, 거리 척도 또는 클러스터 모델에 대한 제약 조건에 의존하는 한계를 극복한다.
• 임의의 클러스터링 알고리즘을 통합할 수 있는 일반화된 프레임워크를 개발한다.
• 신뢰할 수 있는 개별 데이터 포인트 진단과 강건한 클러스터 할당을 보장하는 확장성 있고 자동화된 클러스터링을 가능하게 한다.
• 히우리틱 규칙이 아닌 통계적 추론에 기반한 객관적인 기준을 통해 최적의 클러스터 수를 선정할 수 있도록 한다.

제안 방법

• 클러스터 모델을 객관적으로 평가하기 위해 통계적 추론 원리에서 유도된 클러스터 정보 기준(CIC)을 제안한다.
• 모델 적합도와 복잡도를 추정하기 위해 표본 기반 접근법을 사용하여 대규모 데이터셋에 대한 확장성을 확보한다.
• 알고리즘 자체의 수정 없이도 기존의 어떤 클러스터링 알고리즘도 이 프레임워크에 통합할 수 있다.
• 재표본 추출 기법(예: 부트스트래핑)을 적용하여 클러스터 안정성과 할당 신뢰도를 평가한다.
• 클러스터링을 단순한 분할 작업이 아니라 모델 선택 문제로 간주하는 통합된 통계적 프레임워크를 구성한다.
• 개별 데이터 포인트가 클러스터 할당과 모델 적합도에 기여하는 방식을 평가함으로써 개별 진단 기능을 제공한다.

실험 결과

연구 질문

• RQ1 특정 클러스터 형태나 분포 형태를 가정하지 않고도 클러스터 모델 선택을 객관적이고 강건하게 수행할 수 있는 방법은 무엇인가?
• RQ2 알고리즘에 특화된 수정 없이도 임의의 클러스터링 알고리즘을 평가할 수 있는 일반적인 통계적 프레임워크를 설계할 수 있는가?
• RQ3 통계적 엄밀함을 유지하면서도 대규모 데이터셋에 대한 확장성을 어떻게 달성할 수 있는가?
• RQ4 표본 기반 추정은 클러스터 모델 선택의 신뢰성 향상에 어떤 역할을 하는가?
• RQ5 개별 진단은 클러스터링 결과의 해석 가능성과 강건성에 얼마나 기여하는가?

주요 결과

• 제안된 클러스터 정보 기준은 기본 분포나 거리 척도에 대한 가정 없이 최적의 클러스터 수를 객관적으로 선정할 수 있도록 한다.
• Truecluster는 계산 복잡도를 감소시키는 표본 기반 추정 접근법을 통해 대규모 데이터셋에 대한 확장성을 달성한다.
• 개별 데이터 포인트의 소속 관계에 대한 신뢰도와 안정성을 평가하는 통계적 진단을 통해 강건한 클러스터 할당을 제공한다.
• 임의의 클러스터링 알고리즘을 통합된 통계적 프레임워크에 통합함으로써 Truecluster는 클러스터링 워크플로우의 자동화와 재현 가능성을 가능하게 한다.
• 개별 진단 기능을 지원함으로써 연구자들이 불확실하거나 잘못 할당된 데이터 포인트를 식별하고 평가할 수 있다.
• 특히 고차원 또는 복잡한 데이터 환경에서 기존 클러스터링 방법에 비해 모델 선택의 일관성과 신뢰도에서 뛰어난 성능을 보였다.