[논문 리뷰] Data-Driven Clustering via Parameterized Lloyd's Families

Maria-Florina Balcan, Travis Dick외 1명|arXiv (Cornell University)|2018. 01. 01.

Data Management and Algorithms인용 수 14

한 줄 요약

이 논문은 초기화 및 국소 탐색 파라미터를 조정함으로써 라이드 알고리즘을 일반화하는 데이터 기반 클러스터링 알고리즘의 매개변수화된 가족을 소개한다. 응용 분야에 맞는 데이터 분포에서 학습된 파라미터를 사용함으로써, MNIST, CIFAR 및 가우시안 혼합 분포와 같은 데이터셋에서 k-means++보다 우수한 성능을 보이며, 성능 저하 없이 일부 경우에선 상당한 향상을 이룬다.

ABSTRACT

Algorithms for clustering points in metric spaces is a long-studied area of research. Clustering has seen a multitude of work both theoretically, in understanding the approximation guarantees possible for many objective functions such as k-median and k-means clustering, and experimentally, in finding the fastest algorithms and seeding procedures for Lloyd's algorithm. The performance of a given clustering algorithm depends on the specific application at hand, and this may not be known up front. For example, a typical instance may vary depending on the application, and different clustering heuristics perform differently depending on the instance. In this paper, we define an infinite family of algorithms generalizing Lloyd's algorithm, with one parameter controlling the the initialization procedure, and another parameter controlling the local search procedure. This family of algorithms includes the celebrated k-means++ algorithm, as well as the classic farthest-first traversal algorithm. We design efficient learning algorithms which receive samples from an application-specific distribution over clustering instances and learn a near-optimal clustering algorithm from the class. We show the best parameters vary significantly across datasets such as MNIST, CIFAR, and mixtures of Gaussians. Our learned algorithms never perform worse than k-means++, and on some datasets we see significant improvements.

연구 동기 및 목표

• 다양한 응용 분야에 맞는 데이터 분포에 최적의 클러스터링 히وري스틱을 선택하는 데 도전하는 것.
• k-means++ 및 가장 먼 첫 번째 순서 탐색과 같은 기존 방법을 일반화하는 통합된 클러스터링 알고리즘 가족을 설계하는 것.
• 특정 클러스터링 응용 분야의 데이터 샘플을 사용하여 알고리즘 가족에 대한 근접 최적의 파라미터를 학습하는 것.
• 학습된 파라미터가 실제 세계 및 시뮬레이션 데이터셋 전반에서 클러스터링 성능을 크게 향상시킨다는 것을 입증하는 것.
• 학습된 알고리즘이 k-means++보다 성능이 열 劣하지 않도록 보장하는 것.

제안 방법

• 논문은 두 개의 변수로 매개변수화된 무한한 클러스터링 알고리즘 가족을 정의한다: 하나는 초기화 절차를 제어하고, 다른 하나는 국소 탐색 단계를 지배한다.
• 이 알고리즘 가족은 k-means++ 및 가장 먼 첫 번째 순서 탐색을 특수 케이스로 포함하여 다양한 클러스터링 히وري스틱을 위한 통합 프레임워크를 제공한다.
• 특정 응용 분야의 클러스터링 인스턴스 분포에서의 샘플을 기반으로 최적의 파라미터를 선택하기 위한 효율적인 학습 절차를 개발하였다.
• 학습 알고리즘은 샘플된 데이터에서 클러스터링 목적 함수를 최소화하기 위해 감독 학습 방식의 최적화를 사용한다.
• 이 방법은 이론적 성능 보장을 보장하며, 학습된 알고리즘이 k-means++보다 열 劣하지 않음을 보장한다.
• 이 프레임워크는 새로운, 알려지지 않은 클러스터링 작업에 대해 학습된 알고리즘의 효율적 추론 및 구현을 지원한다.

실험 결과

연구 질문

• RQ1 k-means++ 및 가장 먼 첫 번째 순서 탐색과 같은 기존 히وري스틱을 일반화할 수 있는 통합된 매개변수화된 클러스터링 알고리즘 가족을 설계할 수 있는가?
• RQ2 MNIST, CIFAR 및 가우시안 혼합 분포와 같은 다양한 데이터 분포에서 최적의 파라미터 설정은 어떻게 달라지는가?
• RQ3 데이터 기반 학습 접근법이 기존 히وري스틱보다 뛰어난 클러스터링 성능을 내는 파라미터를 식별할 수 있는가?
• RQ4 학습된 알고리즘이 다양한 데이터셋에서 k-means++의 성능을 유지하거나 향상시키는가?
• RQ5 제안된 프레임워크에서 파라미터의 유연성과 성능 안정성 사이의 상충 관계는 무엇인가?

주요 결과

• 학습된 클러스터링 알고리즘은 MNIST, CIFAR 및 가우시안 혼합 분포 데이터셋에서 k-means++를 일관되게 능가하며, 일부 경우에선 상당한 향상이 관찰되었다.
• 최적의 파라미터 설정은 서로 다른 데이터셋 간에 크게 다름을 보이며, 일괄적인 히وري스틱이 비최적임을 시사한다.
• 제안된 방법은 k-means++보다 성능이 열 劣하지 않음을 보장하여 모든 테스트 인스턴스에서 강건성과 신뢰성을 확보한다.
• 매개변수화된 가족은 k-means++ 및 가장 먼 첫 번째 순서 탐색을 특수 케이스로 성공적으로 일반화하여 표현력의 타당성을 입증한다.
• 데이터 기반 학습 접근법은 특정 데이터 분포에 맞는 고성능 설정을 효과적으로 식별한다.
• 이 프레임워크는 이론적 보장을 유지하면서도 응용 분야에 맞는 클러스터링 최적화를 가능하게 하여 실용적 유용성을 입증한다.