[논문 리뷰] Fast clustering of large datasets with sequential $k$-medians : a stochastic gradient approach

Hervé Cardot, Peggy Cénac외 1명|arXiv (Cornell University)|2011. 01. 21.

Bayesian Methods and Mixture Models참고 문헌 17인용 수 5

한 줄 요약

이 논문은 큰 크기의 고차원 데이터셋을 실시간으로 처리하기 위해 순차적이고 빠른 확률적 경사 하강 알고리즘을 제안한다. 이 알고리즘은 클러스터 중앙값을 점진적으로 갱신함으로써 $k$-medians 군집화를 수행한다. 이는 정적 점근적 수렴성을 증명하고, 평균화된 추정치에 대한 자동 단계 크기 선택 기법을 도입하여, 5,000명 이상의 사용자 TV 시청 데이터셋에서 전통적 방법보다 빠르고 정확한 성능을 보였다.

ABSTRACT

Clustering with fast algorithms large samples of high dimensional data is an important challenge in computational statistics. Borrowing ideas from MacQueen (1967) who introduced a sequential version of the $k$-means algorithm, a new class of recursive stochastic gradient algorithms designed for the $k$-medians loss criterion is proposed. By their recursive nature, these algorithms are very fast and are well adapted to deal with large samples of data that are allowed to arrive sequentially. It is proved that the stochastic gradient algorithm converges almost surely to the set of stationary points of the underlying loss criterion. A particular attention is paid to the averaged versions, which are known to have better performances, and a data-driven procedure that allows automatic selection of the value of the descent step is proposed. The performance of the averaged sequential estimator is compared on a simulation study, both in terms of computation speed and accuracy of the estimations, with more classical partitioning techniques such as $k$-means, trimmed $k$-means and PAM (partitioning around medoids). Finally, this new online clustering technique is illustrated on determining television audience profiles with a sample of more than 5000 individual television audiences measured every minute over a period of 24 hours.

연구 동기 및 목표

• 실시간으로 순차적으로 도착하는 큰 크기의 고차원 데이터셋에 대한 군집화 문제를 해결하기 위해.
• 빅데이터 응용 분야에서 배치 $k$-medians 및 $k$-means 알고리즘의 계산 효율성이 뛰어난 대안을 개발하기 위해.
• 제안된 알고리즘이 $k$-medians 손실 함수의 정적 점에 거의 확실히 수렴함을 보장하기 위해.
• 데이터 기반 단계 크기 선택을 통한 평균화된 확률적 경사 추정치를 통해 추정 정확도를 향상시키기 위해.
• 실제 세계의 대규모 TV 시청자 프로파일링 작업에서의 실용적 성능을 입증하기 위해.

제안 방법

• MacQueen의 순차적 $k$-means 아이디어를 확률적 경사 하강 갱신을 사용한 $k$-medians 기준으로 확장한다.
• 각 신규 데이터 포인트가 감소하는 단계 크기를 사용하여 현재 중앙값 추정치를 갱신하는 확률적 경사 하강 프레임워크를 적용한다.
• 수렴 안정성과 추정 정확도를 향상시키기 위해 알고리즘의 평균화된 버전을 도입한다.
• 관측된 경사 하강 행동 기반으로 최적의 내림값 단계 크기를 선택하는 데이터 기반 절차를 제안한다.
• $k$-medians 손실 함수를 사용하며, 클러스터 중앙값에서의 절대 편차의 합을 최소화한다.
• 전체 데이터셋을 저장하지 않고, 하나의 데이터 포인트씩 처리하는 온라인 방식으로 알고리즘을 적용한다.

실험 결과

연구 질문

• RQ1 순차적 확률적 경사 하강 알고리즘이 큰 고차원 데이터셋에서 신속하고 정확한 $k$-medians 군집화를 달성할 수 있는가?
• RQ2 확률적 경사 하강 $k$-medians 추정치의 평균화된 버전이 손실 함수의 정적 점에 거의 확실히 수렴하는가?
• RQ3 데이터 기반 단계 크기 선택 절차가 실무에서 고정 또는 히우리스틱 단계 크기 규칙보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 제안된 방법은 전통적인 군집화 기법들인 $k$-means, 트리밍된 $k$-means, PAM과 비교해 속도와 정확도에서 어떻게 성능을 내는가?
• RQ5 이 알고리즘은 고주파수의 대규모 데이터에서 의미 있는 텔레비전 시청자 프로파일을 효과적으로 식별할 수 있는가?

주요 결과

• 순차적 확률적 경사 하강 $k$-medians 알고리즘이 $k$-medians 손실 함수의 정적 점 집합에 거의 확실히 수렴한다.
• 알고리즘의 평균화된 버전은 비평균화된 변형보다 우수한 추정 성능을 보였다.
• 제안된 데이터 기반 단계 크기 선택 절차는 실무에서 수렴 속도와 정확도 사이의 균형을 효과적으로 유지한다.
• 이 방법은 대규모 데이터셋에서 배치 $k$-means, 트리밍된 $k$-means, PAM보다 훨씬 빠른 계산 시간을 달성한다.
• 24시간 분량의 5,000명 이상의 사용자 TV 시청 데이터셋에서, 알고리즘은 높은 효율성으로 명확한 시청 패턴을 효과적으로 식별했다.
• 스트리밍 데이터 환경에서도 높은 정확도를 유지하므로 실시간 군집화 응용에 적합하다.