[논문 리뷰] Uniform Concentration Bounds toward a Unified Framework for Robust Clustering

Debolina Paul, Saptarshi Chakraborty외 2명|arXiv (Cornell University)|2021. 10. 26.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 일반적인 Bregman 발산 손실의 범주에서 중심 기반 클러스터링을 위한 통합적이고 강건한 프레임워크를 제안한다. Median-of-Means (MoM) 추정을 기반으로 하며, Rademacher 복잡도와 Dudley의 체이닝을 통한 균일한 농도 경계를 확립하여, 외곽치에 대한 분포 가정 없이도 강건한 일致성과 $O(n^{-1/2})$ 오차율을 달성한다. 이는 외곽치에 대한 제약 없이 $n$ 대 $p$ 비율에 대한 제약 없이도 기존의 $k$-means 변종들을 포괄하고 이론적으로 강화한다.

ABSTRACT

Recent advances in center-based clustering continue to improve upon the drawbacks of Lloyd's celebrated $k$-means algorithm over $60$ years after its introduction. Various methods seek to address poor local minima, sensitivity to outliers, and data that are not well-suited to Euclidean measures of fit, but many are supported largely empirically. Moreover, combining such approaches in a piecemeal manner can result in ad hoc methods, and the limited theoretical results supporting each individual contribution may no longer hold. Toward addressing these issues in a principled way, this paper proposes a cohesive robust framework for center-based clustering under a general class of dissimilarity measures. In particular, we present a rigorous theoretical treatment within a Median-of-Means (MoM) estimation framework, showing that it subsumes several popular $k$-means variants. In addition to unifying existing methods, we derive uniform concentration bounds that complete their analyses, and bridge these results to the MoM framework via Dudley's chaining arguments. Importantly, we neither require any assumptions on the distribution of the outlying observations nor on the relative number of observations $n$ to features $p$. We establish strong consistency and an error rate of $O(n^{-1/2})$ under mild conditions, surpassing the best-known results in the literature. The methods are empirically validated thoroughly on real and synthetic datasets.

연구 동기 및 목표

• 실험적으로 성공적이지만 이론적으로 취약한 강건한 $k$-means 변종들에서 유한 표본 이론적 보장을 부족한 문제를 해결하기 위해.
• 다양한 중심 기반 클러스터링 방법—예: $k$-means, $k$-medians, Bregman $k$-means—을 Median-of-Means (MoM) 추정 기반의 단일 강건한 프레임워크로 통합하기 위해.
• 외곽치에 대해 i.i.d. 또는 경미한 尾를 가정하지 않고도 일반적인 Bregman 발산 하에서 MoM 기반 클러스터링에 대한 엄밀한 통계 분석, 특히 균일한 농도 경계를 제공하기 위해.
• 기존 결과를 초월하는 강력한 일치성과 유한 표본 오차율을 확립하기 위해, 표본 크기 $n$ 과 차원 $p$ 사이의 관계에 대해 최소한의 가정을 요구하는 조건에서.
• 이론적 강건성과 실용적 성능를 연결하기 위해, 실험적 평가를 통해 다양한 클러스터 수와 외곽치 비율에서의 안정성을 입증하기 위해.

제안 방법

• 프레임워크는 중심 기반 클러스터링을 강건하게 만들기 위해 Median-of-Means (MoM) 추정 전략을 활용하며, 데이터를 블록으로 나누고 블록별 경험 위험의 중앙값을 최소화한다.
• 제곱 유클리드 거리 외에도 모든 Bregman 발산 손실로 일반화 가능하여 지수족 모델에 적용 가능하다.
• Rademacher 복잡도와 Dudley의 체이닝 추론을 통해 균일한 농도 경계를 유도하여, 유한 표본에서 추정 오차를 제어한다.
• 분석은 내측치에 대해 오직 i.i.d. 표본을 가정하며, 외곽치 집합에 대한 제약이 없으며, 외곽치는 임의의 분포, 무거운 尾, 또는 의존성일 수 있다.
• 각 반복의 복잡도가 Lloyd의 $k$-means와 유사하여 기울기 기반 알고리즘을 통한 효율적 최적화를 가능하게 한다.
• 유한 표본 보장을 위한 이론적 보장은 경계 조건과 함께, 중심점의 유한성과 내측치 분포의 하위-정규성 유사 행동을 포함한 온건한 정규성 조건을 가정한다.

실험 결과

연구 질문

• RQ1 일반적인 비유사도 측정 기준 하에서 기존의 $k$-means 변종들을 포괄하는 통합적 이론적 프레임워크를 개발할 수 있는가?
• RQ2 외곽치에 대해 경미한 尾나 i.i.d. 조건을 가정하지 않고도 MoM 기반 클러스터링 목표 함수에 대해 균일한 농도 경계를 확립할 수 있는가?
• RQ3 특히 $n$ 과 $p$ 사이의 제약 없는 관계에서 최소한의 가정 하에 도달할 수 있는 유한 표본 오차율은 무엇인가?
• RQ4 실제로 MoM 프레임워크는 외곽치에 대해 경험 위험 최소화(EPM) 접근법보다 얼마나 강건한가?
• RQ5 외곽치에 대해 점근적 또는 분포 가정 없이도 이론적 오차율 $O(n^{-1/2})$ 를 달성할 수 있는가?

주요 결과

• 제안된 MoM 기반 클러스터링 프레임워크는 온건한 조건 하에서 강력한 일치성과 $O(n^{-1/2})$ 오차율을 달성하며, 문헌에서 알려진 최고의 결과를 초월한다.
• 프레임워크는 $k$-means, $k$-medians, Bregman $k$-means 등 여러 $k$-means 변종을 단일 이론적 프레임워크로 통합한다.
• Rademacher 복잡도와 Dudley의 체이닝을 통해 균일한 농도 경계를 확립하여, 외곽치에 대한 모멘트 조건 없이도 유한 표본 분석이 가능하다.
• 실험 결과는 MOMPKM (MoM Power $k$-means)이 증가하는 클러스터 수와 외곽치 비율에서 안정된 성능을 유지하며, ERM 기반 및 비강건 방법보다 뛰어난 성능을 보임을 보여준다.
• 외곽치 수가 $O(n^{eta})$ 인 경우 오차율이 $O(n^{(eta-1)/2})$ 로 스케일링되며, 일치성은 $| olimits\text{outliers}| = o(n)$ 를 요구한다.
• 외곽치가 유계가 아니거나 의존적인 경우에도 메서드는 여전히 강건하며, MoM 추정이 분포 가정 없이도 그 영향을 효과적으로 완화함을 보여준다.