[논문 리뷰] Fast K-Means Clustering with Anderson Acceleration

Juyong Zhang, Yuxin Yao외 3명|arXiv (Cornell University)|2018. 05. 27.

Advanced Clustering Algorithms Research참고 문헌 24인용 수 5

한 줄 요약

이 논문은 동적 매개변수 조정을 적용한 Anderson 가속 기법을 사용하여 Lloyd의 K-평균 알고리즘의 가속화 방법을 제안한다. 중심점 갱신을 고정점 반복 문제로 간주하고, 적응형 m-값 선택을 적용함으로써 평균 33% 이상의 수렴 반복 수를 감소시켰으며, 120개의 테스트 케이스 중 106개에서 기존 방법을 능가하여 기존 기술과 조합 시 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose a novel method to accelerate Lloyd's algorithm for K-Means clustering. Unlike previous acceleration approaches that reduce computational cost per iterations or improve initialization, our approach is focused on reducing the number of iterations required for convergence. This is achieved by treating the assignment step and the update step of Lloyd's algorithm as a fixed-point iteration, and applying Anderson acceleration, a well-established technique for accelerating fixed-point solvers. Classical Anderson acceleration utilizes m previous iterates to find an accelerated iterate, and its performance on K-Means clustering can be sensitive to choice of m and the distribution of samples. We propose a new strategy to dynamically adjust the value of m, which achieves robust and consistent speedups across different problem instances. Our method complements existing acceleration techniques, and can be combined with them to achieve state-of-the-art performance. We perform extensive experiments to evaluate the performance of the proposed method, where it outperforms other algorithms in 106 out of 120 test cases, and the mean decrease ratio of computational time is more than 33%.

연구 동기 및 목표

• Lloyd의 K-평균 알고리즘이 단계당 계산 비용은 효율적이지만 반복 횟수가 많아 수렴이 느린 문제를 해결하기 위해.
• 단계당 계산 비용이나 초기화 전략을 변경하지 않고도 수렴 속도를 향상시키기 위해.
• 다양한 데이터 분포와 문제 인스턴스에 걸쳐 성능을 유지하는 강건한 가속 기법을 개발하기 위해.
• 단계당 비용을 줄이거나 초기화를 향상시키는 기존 가속 기법과의 통합을 가능하게 하기 위해.

제안 방법

• Lloyd 알고리즘에서 중심점 갱신의 수열을 고정점 반복 문제로 간주한다.
• 최근 m개의 반복값을 사용하여 가속된 반복값을 계산하는 고정점 해법 가속 기법인 Anderson 가속을 적용한다.
• Peng 등(2018)이 제안한 수정된 Anderson 가속 기법을 도입하여 계산 오버헤드를 줄이고 수치적 안정성을 향상시킨다.
• 반복 과정에서 목적 함수 값(에너지)의 감소율에 기반해 메모리 매개변수 m을 동적으로 조정하는 전략을 도입한다.
• 동적 m-선택 전략을 통해 다양한 데이터셋, 클러스터 수, 초기화 조건에서의 강건성과 일관성을 향상시킨다.
• 거리 기준 자르기, k-means++ 초기화 등의 기존 가속 기법과의 조합을 통해 누적된 성능 향상을 달성한다.

실험 결과

연구 질문

• RQ1 Lloyd의 K-평균 알고리즘을 고정점 반복 문제로 간주할 때, Anderson 가속 기법을 효과적으로 적용할 수 있는가?
• RQ2 K-평균 클러스터링에서 고전적 Anderson 가속 기법의 성능은 메모리 매개변수 m의 선택에 얼마나 의존하는가?
• RQ3 m에 대한 동적 조정 전략을 통해 Anderson 가속 기법의 강건성과 일관성이 다양한 K-평균 문제 인스턴스에 걸쳐 향상되는가?
• RQ4 데이터 차원 수, 샘플 크기, 클러스터 수 또는 초기화 방법에 관계없이 제안된 방법이 일관된 속도 향상을 달성하는가?
• RQ5 기존 가속 기법과의 효과적인 조합을 통해 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 다양한 데이터셋에서 120개의 테스트 케이스 중 106개에서 다른 알고리즘을 능가하여 광범위한 효과성을 입증했다.
• 모든 테스트 케이스에서 평균적으로 계산 시간이 33% 이상 감소했으며, 대규모 및 고차원 데이터셋에서도 뚜렷한 속도 향상이 관찰되었다.
• 동적 m-선택 전략은 강건성을 크게 향상시켜 모든 문제 인스턴스와 초기화 조건에서 일관된 가속을 보장했다.
• MNIST 데이터셋(20개 클래스)에서 제안된 방법은 시간을 72.35초(Lloyd)에서 7.34초로 줄여 90%의 속도 향상을 달성했으며, 표준 Lloyd 대비 반복 수는 106회에서 35회로 감소했다.
• 100000×100 데이터셋에서 시간은 3087.60초에서 2541.44초로 줄었고, 이는 17.4%의 향상이며 반복 수는 308회에서 226회로 감소해 대규모 문제에 대한 효과성을 입증했다.
• 10000×10 데이터셋에서는 90%의 속도 향상(11.09초 대비 1.16초), 1000×10 데이터셋에서는 95%의 속도 향상(1.03초 대비 0.05초)을 기록해 강력한 확장성과 성능을 입증했다.