[논문 리뷰] Strong Coresets for Hard and Soft Bregman Clustering with Applications to Exponential Family Mixtures

Mario Lučić, Olivier Bachem외 1명|arXiv (Cornell University)|2015. 08. 21.

Bayesian Methods and Mixture Models참고 문헌 20인용 수 18

한 줄 요약

이 논문은 µ-유사 Bregman 발산을 사용한 하드 클러스터링과 소프트 클러스터링을 위한 통합적이고 실용적인 코어셋 구성 알고리즘을 제안한다—K-평균, 가우시안 혼합모형, 지수족 모형을 포함한다—데이터 크기와 무관한 코어셋 크기로 강력한 근사 보장을 달성한다. 이 방법은 랜덤화된 다항식 시간 근사 체계를 제공하며, 실질적으로 균일한 서브샘플링보다 뛰어나, 대규모 데이터셋에서 80배 이상의 속도 향상과 5% 이내의 상대 오차를 제공한다.

ABSTRACT

Coresets are efficient representations of data sets such that models trained on the coreset are provably competitive with models trained on the original data set. As such, they have been successfully used to scale up clustering models such as K-Means and Gaussian mixture models to massive data sets. However, until now, the algorithms and the corresponding theory were usually specific to each clustering problem. We propose a single, practical algorithm to construct strong coresets for a large class of hard and soft clustering problems based on Bregman divergences. This class includes hard clustering with popular distortion measures such as the Squared Euclidean distance, the Mahalanobis distance, KL-divergence and Itakura-Saito distance. The corresponding soft clustering problems are directly related to popular mixture models due to a dual relationship between Bregman divergences and Exponential family distributions. Our theoretical results further imply a randomized polynomial-time approximation scheme for hard clustering. We demonstrate the practicality of the proposed algorithm in an empirical evaluation.

연구 동기 및 목표

• 대규모 데이터셋에 대한 Bregman 클러스터링의 확장성을 해결하기 위해 일반적인 코어셋 프레임워크를 개발한다.
• 이전의 코어셋 방법들이 문제에 특화되어 있었고 약한 근사 보장을 제공했기 때문에 그 한계를 극복한다.
• µ-유사 Bregman 발산 하에 하드 클러스터링과 소프트 클러스터링을 하나의 코어셋 구성으로 통합한다.
• 두 클러스터링 유형에 대한 이론적 보장을 수립하고, 랜덤화된 다항식 시간 근사 체계를 유도한다.
• 다양한 Bregman 발산을 가진 실제 데이터셋에서 균일한 서브샘플링 대비 실용적 성능 향상을 입증한다.

제안 방법

• Bregman 발산 성질에서 유도된 민감도 점수를 기반으로 한 가중치 샘플링 기반의 강력한 코어셋을 구성한다.
• Bregman 발산과 지수족 분포 간의 이중성을 활용하여 코어셋을 소프트 클러스터링 문제로 확장한다.
• 데이터 세트 크기와 무관한 근사 오차 이론적 경계를 가진 랜덤화된 코어셋 구성 알고리즘을 적용한다.
• 평균이 Bregman 발산 합을 최소화함을 이용하여(식 1 참조) 민감도 기반 샘플링 가중치를 유도한다.
• 제곱 오차, 마할라노비스, KL, 이타쿠라-사이토 등 포함한 모든 µ-유사 Bregman 발산으로 코어셋 프레임워크를 일반화한다.
• 기존 클러스터링 파이프라인에 코어셋을 통합하여 증명 가능한 오차 경계를 가진 빠른 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 넓은 범위의 Bregman 발산에서 하드 클러스터링과 소프트 클러스터링 모두에 작동하는 단일 코어셋 구성 알고리즘을 설계할 수 있는가?
• RQ2 모든 µ-유사 Bregman 발산에 대해 강력한 근사 보장을 확보하기 위해 필요한 이론적 코어셋 크기는 얼마인가?
• RQ3 이러한 코어셋 프레임워크는 지수족 혼합모형과 관련된 소프트 클러스터링 문제로 확장될 수 있는가?
• RQ4 제안된 방법은 하드 Bregman 클러스터링에 대해 랜덤화된 다항식 시간 근사 체계를 달성하는가?
• RQ5 다양한 발산 유형을 가진 실제 데이터셋에서 균일한 서브샘플링과 비교해 코어셋의 실용적 성능은 어떠한가?

주요 결과

• 제안된 코어셋 구성은 모든 µ-유사 Bregman 발산에 대해 데이터 세트 크기와 무관한 코어셋 크기로 강력한 근사 보장을 달성한다.
• Bregman 발산과 지수족 분포 간의 이중성 덕분에 동일한 알고리즘이 하드 클러스터링과 소프트 클러스터링 문제 모두에 적용된다.
• 하드 Bregman 클러스터링에 대해 랜덤화된 다항식 시간 근사 체계가 확립되었으며, 이는 이전의 약한 코어셋 방법보다 향상된 성능을 제공한다.
• 145,751개의 점을 가진 kdd 데이터셋에서, 코어셋은 전체 데이터 클러스터링 대비 81.3배의 속도 향상을 달성했으며, 상대 오차는 4.1%에 불과했다.
• 80,000개의 점을 가진 CSN 데이터셋에서, 작은 서브샘플 크기에서도 균일한 서브샘플링보다 상대 오차가 크게 감소했다.
• 실험 결과 코어셋은 수렴 속도와 정확도 면에서 균일한 서브샘플링을 능가하며, 500회의 시험에서 신뢰구간이 안정성을 확인시켰다.