[논문 리뷰] Provably noise-robust, regularised $k$-means clustering

Shrinu Kushagra, Yaoliang Yu외 1명|arXiv (Cornell University)|2017. 11. 30.

Sparse and Compressive Sensing Techniques참고 문헌 2인용 수 3

한 줄 요약

이 논문은 노이즈에 강건한 성능을 보이도록 전용 '노이즈' 클러스터를 허용함으로써 노이즈에 강건한 $k$-means 클러스터링 프레임워크를 제안한다. 이는 고노이즈 수준에서도 진정한 클러스터를 복원할 수 있음을 입증한다. 기존 작업보다 더 날카운 이론적 분리 경계($ \delta > 2 + \epsilon$)를 확립하고, MNIST에서 $k$-means++보다 뛰어난 성능을 보여준다.

ABSTRACT

We consider the problem of clustering in the presence of noise. That is, when on top of cluster structure, the data also contains a subset of \emph{unstructured} points. Our goal is to detect the clusters despite the presence of many unstructured points. Any algorithm that achieves this goal is noise-robust. We consider a regularisation method which converts any center-based clustering objective into a noise-robust one. We focus on the $k$-means objective and we prove that the regularised version of $k$-means is NP-Hard even for $k=1$. We consider two algorithms based on the convex (sdp and lp) relaxation of the regularised objective and prove robustness guarantees for both. The sdp and lp relaxation of the standard (non-regularised) $k$-means objective has been previously studied by [ABC+15]. Under the stochastic ball model of the data they show that the sdp-based algorithm recovers the underlying structure as long as the balls are separated by $δ> 2\sqrt{2} + ε$. We improve upon this result in two ways. First, we show recovery even for $δ> 2 + ε$. Second, our regularised algorithm recovers the balls even in the presence of noise so long as the number of noisy points is not too large. We complement our theoretical analysis with simulations and analyse the effect of various parameters like regularization constant, noise-level etc. on the performance of our algorithm. In the presence of noise, our algorithm performs better than $k$-means++ on MNIST.

연구 동기 및 목표

• 비구조적 노이즈 포인트가 존재할 때도 기반 클러스터 구조를 드러내는 데 어려움을 해결한다.
• 모든 중심 기반 클러스터링 목적함수를 전용 '노이즈' 클러스터를 도입함으로써 노이즈에 강건한 변형으로 변환할 수 있는 일반적인 정규화 프레임워크를 개발한다.
• 스토케스틱 및 분포 자유 모델 하에서 정규화된 $k$-means 목적함수의 SDP 및 LP 완화에 대해 이론적 강건성 보장을 증명한다.
• 특히 노이즈 환경에서 기존 작업보다 향상된 분리 임계값을 도출하여 클러스터 복원 성능을 향상시킨다.
• MNIST에서 실험적으로 방법을 검증하여, 노이즈가 존재하는 상황에서 $k$-means++보다 뛰어난 성능을 보였다.

제안 방법

• 노이즈 클러스터에 할당되는 것을 허용하는 정규화 펜alty $\lambda$ 를 도입하여, 과도한 사용을 방지하기 위해 이러한 할당에 대한 페널티를 적용한다.
• 정규화된 $k$-means 목적함수를 혼합정수계획법으로 공식화하고, 이를 준위수학적(SDP) 및 선형계획법(LP) 완화를 통해 다룬다.
• 클러스터 간 분리 및 노이즈 분포에 대한 특정 기하학적 및 분포 가정 하에서 이중증명 기법을 사용하여 정확한 복원 보장을 증명한다.
• SDP 및 LP 완화가 진정한 클러스터링 구조를 복원할 수 있는 조건을 $\delta$, $\nu$, $m$, 및 $\lambda$ 에 대해 설정한다.
• 무작위 행렬 이론(예: [Ver10]의 정리 16)을 활용하여 데이터 행렬의 특이값을 근사하여 확률적 복원 분석을 뒷받침한다.
• 클러스터 크기와 분리도에 기반하여 이중 타당성 조건을 충족시키는 $\lambda$ 의 파라미터 선택 전략을 설계한다.

실험 결과

연구 질문

• RQ1 정규화된 $k$-means 공식화가 이론적 보장을 유지하면서 증명 가능한 노이즈 강건성을 달성할 수 있는가?
• RQ2 SDP 및 LP 완화를 사용할 때 노이즈 존재 하에서 정확한 복원을 위해 필요한 클러스터 중심 간 최소 분리 $\delta$ 는 얼마인가?
• RQ3 노이즈 포인트 수 $m$ 과 진짜 클러스터에서의 거리 $\nu$ 는 복원 성능에 어떤 영향을 미치는가?
• RQ4 정규화된 $k$-means 목적함수는 볼록 완화를 통해 증명 가능 보장과 함께 효율적으로 해결될 수 있는가?
• RQ5 정규화 파라미터 $\lambda$ 의 선택은 노이즈 거부와 클러스터 복원 사이의 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• 정규화된 $k$-means 목적함수의 최적화는 $k=1$ 일 때조차 NP-난이도를 가짐을 입증하여 문제의 계산 난이도를 규명한다.
• 스토케스틱 볼 모델에서 SDP 완화의 경우 $\delta > 2(1 + \sqrt{k/d})$ 를 만족할 때 정확한 복원이 보장되며, 이는 이전의 $\delta > 2\sqrt{2} + \epsilon$ 보다 향상된 결과이다.
• 노이즈 환경에서 SDP 기반 알고리즘은 $\delta > 2(1 + \sqrt{\sigma + k/d})$ 를 만족할 경우 진짜 클러스터를 복원한다. 여기서 $\sigma$ 는 노이즈 포인트 수와 가장 작은 클러스터의 비율에 따라 결정된다.
• LP 완화의 경우 $\delta > 4$ 이고 노이즈 포인트가 클러스터에서 충분히 멀리 떨어져 있을 경우($\nu > \delta - 2$), $m \leq N(\nu^2/(\delta-2)^2 - 1)$ 개의 노이즈 포인트가 존재할 때 복원이 보장된다.
• 이론적 분석 결과, 클러스터 크기와 분리도에 따라 $\lambda$ 가 특정 범위 내에 있을 경우 이중증명 조건을 충족시킬 수 있음을 보여준다.
• MNIST에서의 실험 결과, 정규화된 $k$-means 알고리즘이 노이즈 존재 시 $k$-means++ 보다 뛰어난 성능을 보여, 실용적 이점을 확인하였다.