[논문 리뷰] Randomized Dimensionality Reduction for k-means Clustering

Christos Boutsidis, Anastasios Zouzias외 2명|arXiv (Cornell University)|2011. 10. 13.

Face and Expression Recognition참고 문헌 28인용 수 29

한 줄 요약

이 논문은 k-means 군집화를 위한 처음으로 증명 가능하게 정확한 특성 선택 방법을 제안하며, 랜덤 프로젝션과 빠른 근사 SVD를 사용한 두 가지 향상된 특성 추출 기법을 함께 제시한다. 제안된 랜덤화 알고리즘은 k-means 목표 함수에 대해 일정 요인 근사 보장을 확보하면서도 계산 비용과 차원 수를 크게 줄여, 고차원 데이터에서 효율적이고 정확한 군집화를 가능하게 한다.

ABSTRACT

We study the topic of dimensionality reduction for $k$-means clustering. Dimensionality reduction encompasses the union of two approaches: \emph{feature selection} and \emph{feature extraction}. A feature selection based algorithm for $k$-means clustering selects a small subset of the input features and then applies $k$-means clustering on the selected features. A feature extraction based algorithm for $k$-means clustering constructs a small set of new artificial features and then applies $k$-means clustering on the constructed features. Despite the significance of $k$-means clustering as well as the wealth of heuristic methods addressing it, provably accurate feature selection methods for $k$-means clustering are not known. On the other hand, two provably accurate feature extraction methods for $k$-means clustering are known in the literature; one is based on random projections and the other is based on the singular value decomposition (SVD). This paper makes further progress towards a better understanding of dimensionality reduction for $k$-means clustering. Namely, we present the first provably accurate feature selection method for $k$-means clustering and, in addition, we present two feature extraction methods. The first feature extraction method is based on random projections and it improves upon the existing results in terms of time complexity and number of features needed to be extracted. The second feature extraction method is based on fast approximate SVD factorizations and it also improves upon the existing results in terms of time complexity. The proposed algorithms are randomized and provide constant-factor approximation guarantees with respect to the optimal $k$-means objective value.

연구 동기 및 목표

• 이전에 히우리스틱 접근법 외에 이론적으로 기반을 둔 k-means 군집화를 위한 특성 선택 방법이 없었던 문제를 해결하기 위해.
• 군집화 구조를 유지하면서 계산 복잡도를 줄이는 이론적으로 보장된 정확도를 갖춘 차원 축소 기법을 개발하기 위해.
• 시간 복잡도와 필요로 하는 특성 수 측면에서 기존의 랜덤 프로젝션과 SVD 기반 특성 추출 방법을 향상시키기 위해.
• 효율적인 알고리즘 설계를 위한 k-means 군집화와 저랭크 행렬 근사 간의 이론적 연결 고리를 설정하기 위해.
• 합성 및 실세계 데이터셋에서 제안된 방법을 실험적으로 검증하여, 저차원화된 데이터에서도 높은 정확도와 빠른 속도를 확보하기 위해.

제안 방법

• k-means 목표 함수에 기여도를 기반으로 기존 특성의 부분집합을 선택하는 랜덤화된 특성 선택 방법을 제안하며, 근사 보장을 보장하기 위해 샘플링 기법을 사용한다.
• 랜덤 프로젝션 기반의 특성 추출 방법을 도입하여, 목표 함수를 일정 요인 내에서 유지하면서 차원을 감소시키며, 이전 방법보다 향상된 시간 복잡도를 확보한다.
• 빠른 근사 SVD를 사용하여 데이터 행렬의 저랭크 근사를 계산하는 두 번째 특성 추출 방법을 개발하여, 더 빠른 계산과 더 나은 확장성을 가능하게 한다.
• k-means 군집화와 저랭크 행렬 근사 간의 이론적 분석을 활용하여, 성능 보장이 보장된 알고리즘 설계를 가능하게 한다.
• 정확한 방법에 비해 런타임 향상을 확보하기 위해, 필요한 투영과 저랭크 요소를 효율적으로 계산하기 위해 랜덤화 알고리즘을 활용한다.
• 두 단계 프로세스를 활용: 먼저 특성 선택 또는 추출을 통한 차원 축소, 그 다음에 축소된 데이터에 표준 k-means 군집화를 적용한다.

실험 결과

연구 질문

• RQ1 기존 연구에서 이러한 방법이 없었음에도 불구하고, k-means 군집화를 위한 증명 가능하게 정확한 특성 선택 방법을 설계할 수 있는가?
• RQ2 랜덤 프로젝션을 통한 특성 추출을 더 효율적으로 만들 수 있는가? 이는 최적의 k-means 목표 함수에 대해 일정 요인 근사 보장을 유지하면서 가능하다.
• RQ3 빠른 근사 SVD를 활용하여, 더 빠르고 증명 가능하게 정확한 k-means 군집화를 위한 특성 추출 방법을 설계할 수 있는가?
• RQ4 제안된 랜덤화 차원 축소 기법이 기존 방법과 비교하여 목표 값, 실행 시간, 군집 정확도 측면에서 어떻게 성능을 내는가?
• RQ5 이론적 보장이 있는 저차원 표현이 고차원 데이터의 군집화 구조를 어느 정도 유지할 수 있는가?

주요 결과

• 제안된 특성 선택 방법은 k-means 군집화를 위한 처음으로 증명 가능하게 정확한 방법으로, 최적의 목표 값에 대해 일정 요인 근사 보장을 보장한다.
• 랜덤 프로젝션 기반의 특성 추출 방법은 이전 방법보다 시간 복잡도를 낮추고 필요한 특성 수를 줄였으며, 근사 보장을 유지한다.
• 빠른 근사 SVD 기반 방법은 시간 복잡도를 더욱 향상시켜 대규모 데이터셋에 대한 확장성도 향상시킨다.
• 합성 및 실세계 데이터셋(Pie, ORL, COIL20)에 대한 실험 결과, 제안된 방법은 20~30개의 투영 차원으로도 거의 최적의 목표 값을 달성한다.
• 대부분의 경우 라플라시안 스코어보다 성능이 뛰어나지만, Pie 및 COIL20 데이터셋에서는 라플라시안 스코어가 더 높은 정확도를 보였으며, 이는 데이터가 덜 분리되어 있기 때문일 수 있다.
• 실행 시간이 차원 수에 따라 단조롭게 증가하지는 않으며, 이는 차원 축소 후 k-means의 수렴 속도가 다양하기 때문이다. 다만 이는 평가의 초점이 아니었다.