[논문 리뷰] A robust and sparse K-means clustering algorithm

Yumi Kondo, Matías Salibián‐Barrera외 1명|arXiv (Cornell University)|2012. 01. 29.

Gene expression and cancer classification참고 문헌 9인용 수 13

한 줄 요약

이 논문은 잡음이나 비관련 특징이 많은 고차원 데이터에서 강건하고 희소한 K-means 군집화 알고리즘인 RSKC를 제안한다. 이 알고리즘은 외곽치에 대한 저항성을 확보하기 위해 컷팅된 K-means를 통합하고, 특징의 희소성을 유도하기 위해 L1 정규화를 적용한다. 이는 관련이 있는 특징들만 선택함으로써 고차원 데이터에서 군집의 구조를 효과적으로 식별한다. 특히 두 개의 특징에서 강한 군집 신호를 가진 시뮬레이션 데이터에서 표준 K-means와 희소 K-means보다 뛰어난 성능을 보였다.

ABSTRACT

In many situations where the interest lies in identifying clusters one might expect that not all available variables carry information about these groups. Furthermore, data quality (e.g. outliers or missing entries) might present a serious and sometimes hard-to-assess problem for large and complex datasets. In this paper we show that a small proportion of atypical observations might have serious adverse effects on the solutions found by the sparse clustering algorithm of Witten and Tibshirani (2010). We propose a robustification of their sparse K-means algorithm based on the trimmed K-means algorithm of Cuesta-Albertos et al. (1997) Our proposal is also able to handle datasets with missing values. We illustrate the use of our method on microarray data for cancer patients where we are able to identify strong biological clusters with a much reduced number of genes. Our simulation studies show that, when there are outliers in the data, our robust sparse K-means algorithm performs better than other competing methods both in terms of the selection of features and also the identified clusters. This robust sparse K-means algorithm is implemented in the R package RSKC which is publicly available from the CRAN repository.

연구 동기 및 목표

• 비관련 또는 잡음이 많은 고차원 데이터에서 표준 K-means의 한계를 해결하기 위해.
• 외곽치에 대한 민감도를 줄이기 위해 컷팅을 통해 군집화의 강건성을 향상시키기 위해.
• L1 정규화를 통한 특징 선택을 통해 군집 결과의 해석 가능성을 높이기 위해.
• 동시에 강건성과 희소성을 보장하는 통합된 프레임워크를 개발하기 위해.
• 실제 응용을 위한 실용적이고 공개된 R 패키지(RSKC)를 제공하기 위해.

제안 방법

• 관측치 중 가장 큰 군집 내 제곱합을 가지는 사전 지정된 비율을 제외함으로써 컷팅된 K-means 접근법을 사용한다.
• 군집 중심에 L1 정규화를 적용하여 희소성을 유도하고, 군집 간 분리에 기여하는 특징의 부분집합을 선택한다.
• 반복적인 교차 알고리즘을 통해 최적화 문제를 해결하며, 이는 희소성 제약 조건이 있는 군집 할당과 중심 갱신을 번갈아 수행한다.
• 컷팅 단계는 외곽치의 영향을 줄여 오염된 환경에서도 안정성을 향상시킨다.
• 군집 내 제곱합과 중심의 L1 노름을 동시에 최소화하여 강건성과 희소성의 균형을 이룬다.
• 알고리즘은 CRAN에 공개된 R 패키지 RSKC로 구현되어 있어 재현 가능하고 확장 가능한 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 고차원 데이터에서 외곽치에 강건하고 동시에 특징의 희소성을 보장하는 K-means 변형을 개발할 수 있는가?
• RQ2 컷팅과 L1 정규화의 통합이 표준 K-means와 희소 K-means에 비해 군집 정확도에 어떤 영향을 미치는가?
• RQ3 오직 소수의 특징에서 군집 신호를 가지는 경우, 알고리즘이 진짜 군집 구조를 얼마나 잘 복원하는가?
• RQ4 관측 수가 특징 수보다 훨씬 적은 경우에도 이 방법이 높은 성능을 유지하는가?
• RQ5 군집화 과정에서 알고리즘이 비관련 또는 잡음이 많은 특징을 얼마나 잘 식별하고 제외하는가?

주요 결과

• 300개의 관측치와 1000개의 특징을 가진 시뮬레이션 데이터에서 RSKC는 진짜 군집 구조를 성공적으로 복원했고, 표준 K-means는 군집 신호를 탐지하지 못했다.
• 희소 K-means는 정확히 두 개의 군집 특징을 식별하고, 이들에만 양수의 가중치를 할당하여 효과적인 특징 선택을 보였다.
• 제안된 알고리즘은 진짜 군집 레이블과 매우 유사한 높은 품질의 분할을 달성했으며, 산점도 비교를 통해 이를 확인할 수 있었다.
• RSKC가 선택한 최적의 가중치는 오직 두 개의 군집 특징에만 양수로 설정되었으며, 이는 방법이 관련 특징을 성공적으로 분리했음을 확인한다.
• 컷팅과 희소성의 통합은 군집 정확도를 희생시키지 않은 채 강건성과 해석 가능성을 향상시켰다.
• R 패키지 RSKC는 CRAN에 공개되어 있어 널리 이용 가능하고 결과의 재현성이 보장된다.