[논문 리뷰] Wasserstein $K$-means for clustering probability distributions

Yubo Zhuang, Xiaohong Chen외 1명|arXiv (Cornell University)|2022. 09. 14.

Anomaly Detection Techniques and Applications인용 수 5

한 줄 요약

이 논문은 2-워샤르스타인 거리 측도를 사용하여 확률 분포를 군집화하기 위한 거리 기반 워샤르스타인 $K$-means 군집화 방법을 제안한다. 이는 워샤르스타인 공간에서 비음성 곡률로 인해 중심 기반 접근법이 실패하는 문제를 다루며, 잘 분리된 가우시안 혼합 모델에 대해 거리 기반 공식화의 정수형 프로그래밍(SDP) 근사를 통해 정확한 군집 복원이 가능하다는 것을 보여주며, 이미지 및 분포 데이터에서 표준 $K$-means보다 뛰어난 성능을 보인다.

ABSTRACT

Clustering is an important exploratory data analysis technique to group objects based on their similarity. The widely used $K$-means clustering method relies on some notion of distance to partition data into a fewer number of groups. In the Euclidean space, centroid-based and distance-based formulations of the $K$-means are equivalent. In modern machine learning applications, data often arise as probability distributions and a natural generalization to handle measure-valued data is to use the optimal transport metric. Due to non-negative Alexandrov curvature of the Wasserstein space, barycenters suffer from regularity and non-robustness issues. The peculiar behaviors of Wasserstein barycenters may make the centroid-based formulation fail to represent the within-cluster data points, while the more direct distance-based $K$-means approach and its semidefinite program (SDP) relaxation are capable of recovering the true cluster labels. In the special case of clustering Gaussian distributions, we show that the SDP relaxed Wasserstein $K$-means can achieve exact recovery given the clusters are well-separated under the $2$-Wasserstein metric. Our simulation and real data examples also demonstrate that distance-based $K$-means can achieve better classification performance over the standard centroid-based $K$-means for clustering probability distributions and images.

연구 동기 및 목표

• 워샤르스타인 공간에서 비음성 알렉산드로프 곡률로 인해 중심 기반 $K$-means가 실패하는 문제를 해결하기 위해.
• 바리센터 정규성 및 비안정성 문제를 피하는 거리 기반 $K$-means 공식화를 제안하기 위해.
• 거리 기반 $K$-means의 SDP 근사가 정확한 군집 복원을 달성할 수 있는 이론적 조건을 설정하기 위해.
• 거리 기반 접근법이 분포 및 이미지 데이터에서 중심 기반 $K$-means보다 우수한 성능을 보임을 경험적으로 입증하기 위해.

제안 방법

• 군집화 목적함수에서 확률 분포 간의 거리 측도로 $2$-워샤르스타인 거리를 사용한다.
• 바리센터에 의존하지 않는 군집 내 쌍별 $W_2$ 거리의 최소화를 목표로 하는 거리 기반 $K$-means 공식화를 제안한다.
• 계산 가능성을 확보하기 위해 거리 기반 $K$-means 문제에 정수형 프로그래밍(SDP) 근사를 적용한다.
• SDP 근사의 분석을 위해 농도 불등식과 행렬 편향 경계 기반의 이론적 프레임워크를 활용한다.
• 오차 항을 제어하기 위해 최적화 공간을 군집에 대응하는 성분과 수직 성분으로 분해한다.
• 호프딩 유형의 불등식과 최대 불등식을 적용하여 거리 추정의 변동성을 제어한다.

실험 결과

연구 질문

• RQ1 바리센터가 실패하는 워샤르스타인 공간에서 거리 기반 $K$-means 공식화가 중심 기반 $K$-means를 능가할 수 있는가?
• RQ2 거리 기반 $K$-means의 SDP 근사가 가우시안 혼합 모델에 대해 정확한 군집 복원을 달성할 수 있는 조건은 무엇인가?
• RQ3 워샤르스타인 공간의 비볼록성과 곡률은 군집 알고리즘의 안정성과 일致성에 어떤 영향을 미치는가?
• RQ4 거리 기반 $K$-means 접근법은 실세계 데이터인 이미지 및 확률 분포에서 더 뛰어난 분류 성능을 보일 수 있는가?

주요 결과

• SDP 근사된 거리 기반 $K$-means는 잘 분리된 가우시안 혼합 모델에 대해 $2$-워샤르스타인 거리 측도 하에서 정확한 군집 복원을 달성한다.
• 모의 및 실재 이미지 데이터에서 표준 중심 기반 $K$-means에 비해 분류 정확도 측면에서 더 뛰어난 성능을 보인다.
• 이론적 분석을 통해 거리 기반 공식화가 바리센터 추정의 곡률에 의한 불안정성에 강건함을 입증한다.
• 논문은 거리 추정의 편차에 대해 고확률 경계를 설정하여 SDP 근사의 일致성에 대한 근거를 제공한다.
• 경험적 결과는 거리 기반 접근법이 육각형 $K$-means보다 이미지 데이터의 기하학적 구조를 더 잘 포착함을 확인한다.