[논문 리뷰] Estimating the number of clusters using cross-validation

Wei Fu, Patrick O. Perry|arXiv (Cornell University)|2017. 02. 09.

Advanced Clustering Algorithms Research참고 문헌 23인용 수 12

한 줄 요약

이 논문은 k-means 군집화에서 최적의 군집 수를 추정하기 위한 새로운 교차검증 방법을 제안한다. 군집화를 누락 데이터가 있는 예측 문제로 간주함으로써, Wold 스타일의 교차검증과 산만한 보류(스펙들드 홀아웃)를 사용한다. 이 방법은 기존의 접근 방식보다 우수하며, 특히 고차원, 이질적, 꼬리가 무거운 데이터에서 뛰어난 성능을 보이며, 효모 세포주기 데이터셋에서 단순하고 해석 가능한 군집을 식별한다.

ABSTRACT

Many clustering methods, including k-means, require the user to specify the number of clusters as an input parameter. A variety of methods have been devised to choose the number of clusters automatically, but they often rely on strong modeling assumptions. This paper proposes a data-driven approach to estimate the number of clusters based on a novel form of cross-validation. The proposed method differs from ordinary cross-validation, because clustering is fundamentally an unsupervised learning problem. Simulation and real data analysis results show that the proposed method outperforms existing methods, especially in high-dimensional settings with heterogeneous or heavy-tailed noise. In a yeast cell cycle dataset, the proposed method finds a parsimonious clustering with interpretable gene groupings.

연구 동기 및 목표

• 비모수적 모델링 가정이 강하게 요구되는 전통적인 방법에 의존하는 비지도 학습에서 군집 수 k를 선택하는 문제를 해결하기 위해.
• 비지도 환경에 적합한 새로운 형태의 교차검증을 활용한 k-means 군집화를 위한 모델 선택 프레임워크를 개발하기 위해.
• 기존 방법이 종종 실패하는 고차원 데이터에서 이질적 또는 꼬리가 두꺼운 잡음이 존재할 경우의 성능을 향상시키기 위해.
• 교차검증을 통해 내부 예측 오차를 최소화하는 자가 일관성 있고 데이터 적응형 방법을 제공하기 위해.
• 실제 데이터, 예를 들어 효모 세포주기 데이터셋에서의 효과를 입증하여 단순하고 해석 가능한 군집을 도출하기 위해.

제안 방법

• 랜덤하게 선택된 데이터 행렬의 요소들을 테스트를 위해 제거하는 Wold 스타일의 교차검증과 산만한 보류를 제안한다.
• 각 k와 폴드에 대해, 반복적 보정 방법을 사용하여 누락된 값이 있는 훈련 데이터에 대해 k-means를 적합한다.
• 교차검증 오차를 관측된 테스트 값과 예측된 군집 평균 간의 제곱차의 합으로 계산한다.
• 모든 폴드에 걸쳐 교차검증 오차를 평균 내어 각 k에 대한 성능을 추정한다.
• 평균 교차검증 오차가 최소가 되는 k를 최적의 군집 수로 선정한다.
• 의존적인 오차 구조를 가진 환경에서의 강건성을 향상시키기 위해 상관된 잡음에 대한 보정을 도입한다.

실험 결과

연구 질문

• RQ1 응답 변수가 명시적으로 존재하지 않는 비지도 군집 문제에 대해 교차검증 프레임워크를 어떻게 적응시킬 수 있는가?
• RQ2 고차원 또는 비정규 분포 데이터에서 기존의 k-선택 방법과 비교해 볼 때, 제안된 교차검증 방법의 성능은 어떠한가?
• RQ3 이상치나 상관된 오차, 꼬리가 두꺼운 오차가 존재하는 다양한 오차 구조에서도 방법이 자가 일관성 있고 안정적인가?
• RQ4 실제 옴믹스 데이터, 예를 들어 효모에서의 유전자 발현 데이터에서 단순하고 생물학적으로 해석 가능한 군집을 식별할 수 있는가?
• RQ5 상관된 오차에 대한 보정이 실제 데이터 시나리오에서 방법의 성능을 어떻게 향상시키는가?

주요 결과

• 제안된 방법은 고차원 환경에서 복잡한 오차 구조를 가진 경우 기존의 방법들(예: 무릎곡선법, 갭 통계량)보다 뛰어난 성능을 보인다.
• 시뮬레이션 결과, 이질적 또는 꼬리가 두꺼운 오차 하에서 기존 방법들이 종종 실패하는 상황에서도 이 방법은 높은 정확도를 유지한다.
• 효모 세포주기 데이터셋에서 이 방법은 5개 군집 솔루션을 성공적으로 식별하였으며, 이는 단순성과 생물학적 해석 가능성 모두를 만족한다.
• 이론적 분석 결과, 상관된 오차 하에서는 성능 저하가 발생하지만, 제안된 보정을 통해 강건성이 복구됨을 확인하였다.
• 이 방법은 자가 일관성을 보이며, 시뮬레이션 및 실제 데이터 실험 모두에서 최첨단 모델 선택 기법과 경쟁 가능성을 보였다.
• 교차검증 오차 지표는 모델 적합도와 복잡성의 상호 균형을 효과적으로 포착하여 최적의 k 선택을 이끌어낸다.