[논문 리뷰] Fast Exact k-Means, k-Medians and Bregman Divergence Clustering in 1D

Allan Grønlund, Kasper Green Larsen외 4명|arXiv (Cornell University)|2017. 01. 25.

Automated Road and Building Extraction참고 문헌 23인용 수 48

한 줄 요약

이 논문은 동적 프rogramming과 이진 탐색 기법을 사용하여 1차원 k-평균, k-중위수 및 브레그만 발산 클러스터링에 대한 빠르고 정확한 알고리즘을 제시한다. 공간 사용을 줄이고, 임의의 브레그만 발산으로 일반화하며, 특히 큰 n과 k에 대해 이진 탐색 기반 알고리즘이 동적 프로그래밍을 능가함을 보여주며, 모든 k' ≤ k에 대한 최적 클러스터링을 효율적으로 보고할 수 있다.

ABSTRACT

The $k$-Means clustering problem on $n$ points is NP-Hard for any dimension $d\ge 2$, however, for the 1D case there exists exact polynomial time algorithms. Previous literature reported an $O(kn^2)$ time dynamic programming algorithm that uses $O(kn)$ space. It turns out that the problem has been considered under a different name more than twenty years ago. We present all the existing work that had been overlooked and compare the various solutions theoretically. Moreover, we show how to reduce the space usage for some of them, as well as generalize them to data structures that can quickly report an optimal $k$-Means clustering for any $k$. Finally we also generalize all the algorithms to work for the absolute distance and to work for any Bregman Divergence. We complement our theoretical contributions by experiments that compare the practical performance of the various algorithms.

연구 동기 및 목표

• 기존의 O(kn²) 시간과 O(kn) 공간을 요구하는 동적 프로그래밍 접근 방식의 한계를 극복하여, 1차원 k-평균 클러스터링에 대해 더 빠르고 공간 효율적인 정확한 알고리즘을 개발하는 것.
• 기존의 1차원 k-평균 알고리즘을 k-중위수 및 임의의 브레그만 발산으로 일반화하여 다양한 클러스터링 문제에 대한 적용 범위를 넓히는 것.
• 표준 동적 프로그래밍이 원천적으로 지원하지 않는 선형 공간을 사용하여 모든 k' ≤ k에 대한 최적 클러스터링을 효율적으로 보고할 수 있도록 하는 것.
• 다양한 1차원 클러스터링 알고리즘(동적 프로그래밍 및 이진 탐색 기반 방법 포함)의 성능을 실증적으로 평가하고 비교하는 것.
• 특히 1980년대의 양자화 알고리즘이 후속 알려진 해결책들을 포함하고 있음에도 불구하고 간과된 이전 연구를 식별하고 해결하는 것.

제안 방법

• O(kn²) 시간과 O(kn) 공간을 요구하는 동적 프로그래밍 알고리즘을 제안한 후, DP 테이블의 마지막 열만 유지함으로써 O(kn) 시간과 O(k) 공간으로 최적화한 방법.
• k개의 클러스터에 대한 최적 비용 λ를 찾기 위해 보간법을 사용하는 이진 탐색 기반 알고리즘을 도입하여, O(n lg U) 시간과 선형 공간을 달성함. 여기서 U는 유니버스 크기이다.
• 비용 함수의 볼록성(concave 성질)을 활용하여 λ에 대한 효율적인 이진 탐색을 가능하게 하여, 임의의 k에 대한 최적 클러스터링을 신속하게 계산할 수 있도록 함.
• 절대 거리 기반 k-중위수 및 비용 함수를 적응시켜 임의의 브레그만 발산으로 일반화함과 동시에 동일한 알고리즘 아키텍처를 유지함.
• 이진 탐색 프레임워크를 활용하여 모든 k' ≤ k에 대한 최적 클러스터링을 효율적으로 계산할 수 있도록 1차원 k-평균 문제의 정규화된 형태를 활용함.
• 이항 탐색 과정을 가속화하기 위해 수정된 윌버 스타일의 보간 탐색을 사용하여, 이론적 최악의 경우 복잡도가 없음에도 불구하고 강력한 실용적 성능을 보임.

실험 결과

연구 질문

• RQ1 정확한 1차원 k-평균 클러스터링의 공간 복잡도를 O(kn)에서 O(k)로 줄일 수 있는가, 동시에 최적 성능를 유지할 수 있는가?
• RQ2 n과 k가 증가함에 따라 더 잘 스케일링되는 실용적이고 효율적인 동적 프로그래밍의 대안이 존재하는가?
• RQ3 동적 프로그래밍 접근 방식을 사용하여 모든 k' ≤ k에 대한 최적 클러스터링을 효율적으로 보고할 수 있으며, 이는 이진 탐색 기반 방법과 비교해 볼 때 어떻게 다른가?
• RQ4 동일한 시간 및 공간 복잡도를 유지하면서 알고리즘을 k-중위수 및 브레그만 발산으로 일반화할 수 있는가?
• RQ5 이항 탐색 기반 알고리즘의 실용적 성능는 동적 프로그래밍과 비교해 어떻게 되는가? 특히 큰 n과 k에 대해 실행 시간과 메모리 사용량 측면에서 어떻게 다른가?

주요 결과

• 이항 탐색 기반 알고리즘은 O(n lg U) 시간과 선형 공간을 달성하여, 실무에서 O(kn²) 동적 프로그래밍 접근 방식보다 뚜렷이 빠르며, 특히 큰 n과 k에 대해 두드러진 성능 향상을 보임.
• 균일 및 정규 분포 데이터 세트에서, k ≥ 20일 경우 조건부로 중간 크기의 n에서도 이항 탐색 알고리즘이 동적 프로그래밍보다 훨씬 빠름.
• 동적 프로그래밍 알고리즘은 DP 테이블의 마지막 열만 유지함으로써 O(k) 공간으로 최적화할 수 있으며, 이는 모든 k' ≤ k에 대한 최적 클러스터링을 효율적으로 보고할 수 있도록 함.
• 이항 탐색 알고리즘은 탐색 과정 중에 여러 k 값에 대한 최적 클러스터링 비용을 동시에 보고할 수 있어, 비용 곡선의 인터랙티브 또는 점진적인 시각화를 가능하게 함.
• 보간 기반 이항 탐색 히우리스틱은 최악의 경우 O(n²) 복잡도를 고려할 때보다 실무에서 훨씬 우수한 성능를 보이며, 강력한 실증적 효율성을 시사함.
• 1980년대의 1차원 가중치가 있는 양자화 연구를 식별하고 통합하여, 최적 해가 수십 년 전에 이미 알려져 있었고, 후속 결과들을 모두 포함하고 있음을 입증함.