[논문 리뷰] Simple and Scalable Sparse k-means Clustering via Feature Ranking

Zhiyue Zhang, Kenneth Lange외 1명|arXiv (Cornell University)|2020. 02. 20.

Face and Expression Recognition참고 문헌 51인용 수 7

한 줄 요약

이 논문은 클러스터 간 분리도에 기여하는 기능의 기여도를 기반으로 반복적으로 기능을 순위 매기고 잘라내는 방식으로, 간단하고 확장 가능한 희소 k-means 클러스터링 방법인 특성 순위 기반 희소 k-means(Sparse k-Means via Feature Ranking, SKFR)를 제안한다. 이 방법은 상당히 낮은 계산 비용으로 경쟁 가능한 성능을 달성하며, 단 하나의 하이퍼파rameter(희소성 수준 s)만 필요로 하여 고차원 데이터에서 효율적이고 해석 가능한 클러스터링을 가능하게 한다.

ABSTRACT

Clustering, a fundamental activity in unsupervised learning, is notoriously difficult when the feature space is high-dimensional. Fortunately, in many realistic scenarios, only a handful of features are relevant in distinguishing clusters. This has motivated the development of sparse clustering techniques that typically rely on k-means within outer algorithms of high computational complexity. Current techniques also require careful tuning of shrinkage parameters, further limiting their scalability. In this paper, we propose a novel framework for sparse k-means clustering that is intuitive, simple to implement, and competitive with state-of-the-art algorithms. We show that our algorithm enjoys consistency and convergence guarantees. Our core method readily generalizes to several task-specific algorithms such as clustering on subsets of attributes and in partially observed data settings. We showcase these contributions thoroughly via simulated experiments and real data benchmarks, including a case study on protein expression in trisomic mice.

연구 동기 및 목표

• 부적절하거나 노이즈가 많은 특성으로 인해 고차원 데이터에서 클러스터링 성능이 떨어지는 문제를 해결하기 위해.
• 기존의 희소 k-means 방법에서의 계산 복잡도와 초기화에 대한 민감성 문제를 극복하기 위해.
• 특성 희소성을 보장하면서도 원래의 특성 공간에서의 해석 가능성도 유지하는 방법을 개발하기 위해.
• 희소성 수준 s 하나의 하이퍼파rameter로만 줄여 튜닝 비용을 최소화하기 위해.
• 실제 환경에서의 확장성과 강건성을 확보하기 위해, 결측치와 이상치가 존재하는 경우에도 대응 가능하도록 하기 위해.

제안 방법

• 반복적인 특성 순위 매기기와 잘라내기 기반의 새로운 희소 k-means 클러스터링 프레임워크를 제안한다.
• 클러스터 간 제곱합을 기반으로 한 특성 순위 기준을 사용하여 가장 정보가 많은 특성을 식별한다.
• 각 반복 단계에서 클러스터 간 분리도에 기여도가 높은 상위-s개의 특성을 선택하고, 이들 특성만을 사용하여 클러스터 중심을 재계산한다.
• 클러스터 할당과 특성 부분집합을 번갈아 최적화하는 블록 좌표 강하 방식을 적용한다.
• 클러스터 중심을 희소 구역 제약 조건에 투영하는 방식으로 희소성을 강제하는 투영 단계를 통합한다.
• 핵심 알고리즘의 모듈러한 확장으로 결측치가 있는 경우와 이상치가 많은 설정에도 자연스럽게 일반화할 수 있다.

실험 결과

연구 질문

• RQ1 기존의 희소 k-means 방법에 비해 상당히 낮은 계산 비용으로 경쟁 가능한 클러스터링 성능을 달성할 수 있는가?
• RQ2 희소 진짜 신호가 존재하는 고차원 설정에서 수렴성과 일관성 측면에서 제안된 방법의 성능는 어떠한가?
• RQ3 PCA와 같은 차원 감소 기법에 비해 특성의 해석 가능성은 어느 정도 유지되는가?
• RQ4 희소성 파rameter s의 선택에 얼마나 민감한가? 그리고 갭 통계와 같은 표준 방법을 통해 신뢰성 있게 튜닝할 수 있는가?
• RQ5 확장 가능한 성능을 유지하면서도 결측치와 이상치를 다룰 수 있도록 프레임워크를 확장할 수 있는가?

주요 결과

• 제안된 SKFR 방법은 최첨단 희소 k-means 알고리즘과 비교해 유사한 클러스터링 성능를 달성하면서도 상당히 낮은 계산 오버헤드를 경험한다.
• 가정된 희소성 모델 하에서 알고리즘이 강력한 수렴성과 일관성 보장을 보인다.
• 시뮬레이션 및 실제 데이터셋(트리소믹 마우스의 단백질 발현 데이터 포함)에 대한 실험 결과는 방법의 강건성과 정확성을 확인한다.
• 희소성 수준 s 하나의 하이퍼파rameter만 필요로 하며, 갭 통계나 교차 검증을 통해 안정적인 튜닝이 가능하다.
• 부분적으로 관측된 데이터와 이상치가 많은 설정으로의 확장이 간단하며 높은 성능를 유지한다.
• PCA 기반 방법이 선형 조합을 생성해 해석이 어려운 반면, 이 방법은 원래의 특성 공간에서 특성을 선택하므로 해석 가능성을 유지한다.