[논문 리뷰] The ratio-cut polytope and K-means clustering

Antonio De Rosa, Aida Khajavirad|arXiv (Cornell University)|2020. 06. 26.

Sparse and Compressive Sensing Techniques참고 문헌 21인용 수 5

한 줄 요약

이 논문은 K-means 클러스터링을 위한 비율 컷 벡터의 볼록 hull로 정의된 비율 컷 다면체를 도입하고, K-means에 대한 새로운 선형계획법(LP) 근사를 제안한다. 스토하스틱 볼 모델 하에서, 클러스터 중심 간의 분리 거리 Δ가 1 + √3를 초과할 경우, 이 LP 근사는 높은 확률로 심으려된 클러스터를 정확히 복원함을 증명한다. 이는 이전의 LP 근사에서 요구하던 Δ > 4 보다 크게 향상된 결과이다.

ABSTRACT

We introduce the ratio-cut polytope defined as the convex hull of ratio-cut vectors corresponding to all partitions of $n$ points in $\mathbb R^m$ into at most $K$ clusters. This polytope is closely related to the convex hull of the feasible region of a number of clustering problems such as K-means clustering and spectral clustering. We study the facial structure of the ratio-cut polytope and derive several types of facet-defining inequalities. We then consider the problem of K-means clustering and introduce a novel linear programming (LP) relaxation for it. Subsequently, we focus on the case of two clusters and derive sufficient conditions under which the proposed LP relaxation recovers the underlying clusters exactly. Namely, we consider the stochastic ball model, a popular generative model for K-means clustering, and we show that if the separation distance between cluster centers satisfies $Δ> 1+\sqrt 3$, then the LP relaxation recovers the planted clusters with high probability. This is a major improvement over the only existing recovery guarantee for an LP relaxation of K-means clustering stating that recovery is possible with high probability if and only if $Δ> 4$. Our numerical experiments indicate that the proposed LP relaxation significantly outperforms a popular semidefinite programming relaxation in recovering the planted clusters.

연구 동기 및 목표

• n개의 점이 ℝ^m에 존재하는 모든 K-분할에 대해 비율 컷 벡터의 볼록 hull로 정의된 비율 컷 다면체의 면 구조를 연구한다.
• 기존의 볼록 근사보다 향상된 이론적 보장을 제공하는 K-means 클러스터링을 위한 새로운 선형계획법(LP) 근사를 개발한다.
• 제안된 LP 근사가 스토하스틱 볼 모델 하에서 기저 클러스터를 정확히 복원할 수 있는 충분한 조건을 확립한다.
• 수치 실험을 통해 제안된 LP 근사가 인기 있는 정수형프로그래밍(SDP) 근사보다 클러스터 복원 성능에서 뛰어남을 보여준다.

제안 방법

• n개의 점이 ℝ^m에 존재하는 모든 K-분할에 대응하는 비율 컷 벡터의 볼록 hull로 비율 컷 다면체를 정의하고, 이를 K-means 및 스펙트럴 클러스터링 문제와 연결한다.
• 비율 컷 다면체의 면 구조를 기술하기 위해 다양한 유형의 면 정의 부등식을 유도한다.
• 비율 컷 다면체의 다면체적 구조를 활용하여 K-means 클러스터링을 위한 새로운 LP 근사를 제안한다.
• 이중 클러스터 케이스를 분석하고, 스토하스틱 볼 모델 하에서 이중 증명 기법을 사용하여 정확한 복원을 위한 충분한 조건을 도출한다.
• 분리 거리 Δ > 1 + √3 이면 정확한 복원이 높은 확률로 발생함을 증명하며, 이는 이전의 LP 근사에서 요구하던 Δ > 4 보다 향상된 결과이다.
• 제안된 LP 근사와 표준 SDP 근사 간의 수치 실험을 수행하여, 높은 성능을 보이며 심으려진 클러스터를 더 잘 복원함을 보였다.

실험 결과

연구 질문

• RQ1 비율 컷 다면체의 면 구조는 무엇이며, 이를 면 정의 부등식을 통해 어떻게 특징화할 수 있는가?
• RQ2 비율 컷 다면체를 기반으로 K-means 클러스터링을 위한 새로운 LP 근사를 구성할 수 있으며, 이는 기존 근사보다 더 강력한 이론적 보장을 제공하는가?
• RQ3 제안된 LP 근사가 스토하스틱 볼 모델 하에서 심으려진 클러스터를 정확히 복원할 수 있는 조건은 무엇인가?
• RQ4 제안된 LP 근사의 복원 임계값 Δ는 기존의 LP 및 SDP 근사와 비교해 어떻게 다를까?
• RQ5 제안된 LP 근사는 수치 실험에서 표준 정수형프로그래밍(SDP) 근사보다 클러스터 복원 성능에서 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 K-me안 클러스터링을 위한 LP 근사는 클러스터 중심 간 분리 거리 Δ > 1 + √3 를 만족할 경우, 높은 확률로 심으려진 클러스터를 정확히 복원한다.
• 이 복원 임계값은 이전에 유일하게 제안된 LP 근사에서 요구하던 Δ > 4 보다 크게 향상된 결과이다.
• 논문은 합성 데이터에 대한 실험을 통해 새로운 LP 근사가 잘 알려진 정수형프로그래밍(SDP) 근사보다 뛰어난 성능을 보임을 입증하였다.
• 저자들은 비율 컷 다면체에 대해 풍부한 면 정의 부등식의 집합을 도출하여, 그 다면체적 구조에 대한 깊은 이해를 제공하였다.
• 이론적 분석은 이중 증명을 구성하고, 대칭적 구성에서 목적 함수를 유계로 둘 수 있도록 기하학적 및 삼각함수적 추론을 기반으로 한다.
• 결과적으로 LP 근사가 클러스터링 문제에서 강력한 복원 보장을 달성할 수 있음을 보여주며, 이는 이 분야에서 SDP 근사의 지배적 위치를 도전하는 바이다.