[논문 리뷰] Scalable Kernel K-Means Clustering with Nystrom Approximation: Relative-Error Bounds

Shusen Wang, Alex Gittens외 1명|arXiv (Cornell University)|2017. 06. 09.

Sparse and Compressive Sensing Techniques참고 문헌 86인용 수 13

한 줄 요약

이 논문은 이론적 상대 오차 경계를 갖는 Nyström 근사법을 사용한 확장 가능한 커널 k-means 군집화 방법을 제안한다. $rac{k}{ ho}(1+o(1))$ 개의 특징을 사용한 랭크 제한된 Nyström 근사법이 최적의 커널 k-means 목적 함수에 대해 $1+ ho$ 근사 비율을 달성함을 보여주며, 이는 MNIST8M와 같은 대규모 데이터셋에서 효율적이고 이론적으로 타당한 비선형 군집화를 가능하게 한다.

ABSTRACT

Kernel $k$-means clustering can correctly identify and extract a far more varied collection of cluster structures than the linear $k$-means clustering algorithm. However, kernel $k$-means clustering is computationally expensive when the non-linear feature map is high-dimensional and there are many input points. Kernel approximation, e.g., the Nyström method, has been applied in previous works to approximately solve kernel learning problems when both of the above conditions are present. This work analyzes the application of this paradigm to kernel $k$-means clustering, and shows that applying the linear $k$-means clustering algorithm to $\frac{k}ε (1 + o(1))$ features constructed using a so-called rank-restricted Nyström approximation results in cluster assignments that satisfy a $1 + ε$ approximation ratio in terms of the kernel $k$-means cost function, relative to the guarantee provided by the same algorithm without the use of the Nyström method. As part of the analysis, this work establishes a novel $1 + ε$ relative-error trace norm guarantee for low-rank approximation using the rank-restricted Nyström approximation. Empirical evaluations on the $8.1$ million instance MNIST8M dataset demonstrate the scalability and usefulness of kernel $k$-means clustering with Nyström approximation. This work argues that spectral clustering using Nyström approximation---a popular and computationally efficient, but theoretically unsound approach to non-linear clustering---should be replaced with the efficient and theoretically sound combination of kernel $k$-means clustering with Nyström approximation. The superior performance of the latter approach is empirically verified.

연구 동기 및 목표

• 고차원 비선형 특징 맵을 갖는 대규모 데이터셋에 대해 확장 가능하고 이론적으로 탄탄한 커널 k-means 군집화 접근법을 개발하기.
• 계산 비용을 줄이기 위해 Nyström 근사법을 사용할 경우 커널 k-means 군집화에 대한 상대 오차 보장을 확립하기.
• 실험적으로는 효과적이지만 이론적으로 타당하지 않은 스펙트럴 군집화를 Nyström으로 대체하기 위해 더 체계적인 커널 k-means + Nyström 프레임워크를 제안하기.
• MNIST8M와 같은 대규모 데이터셋에서의 확장성과 경험적 우수성을 입증하기.

제안 방법

• 메서드는 $rac{k}{ ho}(1+o(1))$ 개의 랜드마크 포인트를 사용하여 커널 행렬의 저랭크 근사를 구현하기 위해 Nyström 근사법을 적용한다.
• 저랭크 근사를 위한 $1+ ho$ 상대 오차 트레이스 노름 보장을 보장하기 위해 랭크 제한된 Nyström 근사법을 사용한다.
• Nyström 근사에서 유도된 $rac{k}{ ho}(1+o(1))$ 차원의 특징 벡터에 대해 선형 k-means 군집화를 수행한다.
• 이론적 분석을 통해 유도된 군집 할당이 최적의 커널 k-means 목적 함수에 대해 $1+ ho$ 근사 비율을 달성함을 보여준다.
• 고차원 비선형 특징의 명시적 계산을 피하기 위해 커널 트릭을 활용하여 계산 효율성을 유지한다.
• 특정 근사 품질 조건 하에서 사영 비용 보존과 트레이스 노름 근사 보장을 이용해 이론적 경계를 유도한다.

실험 결과

연구 질문

• RQ1 Nyström 근사법을 사용해 커널 k-means 군집화를 확장하면서도 이론적 근사 보장을 유지할 수 있는가?
• RQ2 커널 k-means 군집화에서 $1+ ho$ 근사 비율을 달성하기 위해 필요한 랜드마크 포인트의 수는 얼마인가?
• RQ3 제안된 커널 k-means + Nyström는 스펙트럴 군집화 + Nyström보다 이론적 타당성과 경험적 성능에서 어떻게 다를까?
• RQ4 MNIST8M와 같은 대규모 데이터셋에서 계산 비용을 크게 줄이면서도 높은 정확도를 유지할 수 있는가?

주요 결과

• 랭크 제한된 Nyström 근사법을 사용한 $rac{k}{ ho}(1+o(1))$ 개의 특징을 사용할 경우, 제안된 방법이 최적의 커널 k-means 목적 함수에 대해 $1+ ho$ 근사 비율을 달성한다.
• 랭크 제한된 Nyström 방법을 사용한 저랭크 근사에 대해 새로운 $1+ ho$ 상대 오차 트레이스 노름 보장을 확립한다.
• 810만 개의 포인트를 포함하는 MNIST8M 데이터셋에서의 경험적 평가 결과, 방법의 확장성과 스펙트럴 군집화 + Nyström에 비해 뛰어난 성능을 입증한다.
• 스펙트럴 군집화 + Nyström는 인기가 많지만 이론적 근거가 없음에도 불구하고, 본 방법은 이론적으로 타당한 대안을 제공한다.
• 이론적 분석을 통해 Nyström 근사법이 커널 행렬에 대한 약한 가정 하에 군집 목적 함수를 $1+ ho$ 요인 내에서 유지함을 보여준다.
• 비구형 군집 구조에서 특히, 스펙트럴 군집화 + Nyström보다 군집 정확도와 이론적 신뢰성 면에서 본 방법이 뛰어나다.