[논문 리뷰] Stochastic Dimensionality Reduction for K-means Clustering

Christos Boutsidis, Anastasios Zouzias외 2명|arXiv (Cornell University)|2011. 10. 13.

Face and Expression Recognition참고 문헌 25인용 수 14

한 줄 요약

이 논문은 k-means 군집화를 위한 처음으로 증명 가능하게 정확한 특성 선택 방법을 제안하며, 랜덤 프로젝션과 빠른 근사 SVD 기반의 두 가지 새로운 랜덤화된 특성 추출 기법을 제시한다. 세 가지 방법 모두 최적의 k-means 목적 함수 값에 대해 일정 요인의 근사 보장을 제공하며, 일정한 확률로 성능을 확보하여 이전 방법들에 비해 이론적 정확성과 효율성을 향상시킨다.

ABSTRACT

We study the topic of dimensionality reduction methods for k-means clustering. Dimensionality reduction encompasses the union of two approaches; feature selection and feature extraction. First, feature selection selects a small subset of actual features from the data and then runs the clustering algorithm only on the selected features. Second, feature extraction constructs a small set of new artificial features and then runs the clustering algorithm only on the constructed features. Despite the significance of the problem as well as the wealth of heuristic methods addressing it there exist no provably accurate feature selection methods. On the other hand, two provably accurate feature extraction methods for k-means exist: the first one is randomized and is based on Random Projections; the other, is deterministic and it is based on the Singular Value Decomposition. This paper addresses this shortcoming by presenting the first provably accurate feature selection method for k-means clustering. We also present two novel feature extraction methods: the first one is based on Random Projections and improves the existing result in terms of speed and number of features needed to be extracted; the other is based on fast approximate SVD factorizations and improves the existing result in terms of speed. All three methods of our work are randomized and, with constant probability, provide constant-factor approximation guarantees with respect to the optimal k-means objective value.

연구 동기 및 목표

• 기하학적 힌트나 이론적 방법은 존재하지만, k-means 군집화를 위한 증명 가능하게 정확한 특성 선택 방법의 부족을 해결하기 위해.
• 군집화 품질에 대한 이론적 보장을 제공하는 랜덤화된 특성 선택 및 특성 추출 기법을 개발하기 위해.
• 기존의 특성 추출 방법에 비해 속도와 일정 요인의 근사 보장을 유지하면서 필요한 특성 수를 개선하기 위해.
• k-means 군집화에 대해 강력한 근사 보장을 유지하는 랜덤화된 차원 축소 방법의 통합 프레임워크를 수립하기 위해.
• k-means 군집화에서 히وري스틱 특성 선택과 증명 가능하게 정확한 특성 추출 간의 이론적 격차를 메우기 위해.

제안 방법

• 데이터의 구조에서 유도된 확률 분포를 사용하여 원래 특성의 부분집합을 선택하는 랜덤화된 특성 선택 방법을 제안하며, 최적의 k-means 목적 함수 값에 대해 일정 요인의 근사 보장을 보장한다.
• 차원 축소를 통해 군집링 구조를 유지하면서도 기존의 랜덤화된 접근 방식에 비해 속도를 향상시키고 필요한 특성 수를 줄이는 랜덤 프로젝션 기반의 새로운 특성 추출 방법을 도입한다.
• 계산을 가속화하고 런타임을 단축시키면서도 동일한 이론적 근사 보장을 유지하는 빠른 근사 SVD 기반의 특성 추출 기법을 개발한다.
• 랜덤화된 차원 축소 기법을 활용하여, 일정한 확률로 결과적인 k-means 목적 함수 값이 최적 해의 일정 요인 이내에 머무르도록 보장한다.
• 이론적 분석과 확률적 샘플링을 결합하여 근사 품질의 경계를 유도하며, 농도 불등식과 스펙트럼 성질을 활용한다.
• 이중 단계 프로세스를 사용한다: 첫 번째로 랜덤 프로젝션 또는 SVD를 통한 차원 축소; 두 번째로 이론적 성능 보장을 갖는 축소된 공간에서 k-means 군집화 수행.

실험 결과

연구 질문

• RQ1 k-means 군집화를 위한 증명 가능하게 정확한 특성 선택 방법을 설계할 수 있는가? 이는 오랫동안 이론적 보장의 격차를 메우는 데 핵심적이다.
• RQ2 속도 향상과 특성 수 감소를 동시에 달성하면서도 일정 요인의 근사 보장을 유지할 수 있는 랜덤화된 특성 추출 방법을 개선할 수 있는가?
• RQ3 제안된 방법들은 기존 방법들에 비해 계산 효율성과 군집링 정확성 간의 더 나은 트레이드오프를 달성하는가?
• RQ4 특성 선택과 특성 추출을 하나의 랜덤화된 프레임워크 아래 통합할 수 있으며, 강력한 이론적 성능 보장을 제공할 수 있는가?

주요 결과

• 제안된 특성 선택 방법은 k-means 군집화에 대해 증명 가능하게 일정 요인의 근사 보장을 제공하는 최초의 방법으로, 오랫동안 존재하던 이론적 격차를 해결한다.
• 랜덤 프로젝션 기반의 특성 추출 방법은 기존의 랜덤화된 방법에 비해 필요한 특성 수를 줄이고 런타임을 향상시킨다.
• 빠른 근사 SVD 기반의 방법은 기존의 SVD 기반 추출보다 더 빠른 계산을 달성하면서도 동일한 이론적 근사 품질을 유지한다.
• 모든 세 가지 제안된 방법—특성 선택 및 두 가지 특성 추출 기법—은 일정한 확률로 최적의 k-means 목적 함수 값에 대해 일정 요인의 근사 보장을 달성한다.
• 이론적 분석은 차원 축소가 상당히 진행된 후에도 군집링 품질을 유지함을 확인하여, 강건성과 확장성을 보장한다.