[논문 리뷰] Scalable Kernel Clustering: Approximate Kernel k-means

Radha Chitta, Rong Jin외 2명|arXiv (Cornell University)|2014. 02. 16.

Face and Expression Recognition참고 문헌 47인용 수 18

한 줄 요약

이 논문은 랜덤 샘플링을 사용해 커널 행렬을 근사하고, 작은 수의 샘플된 점들에 의해 생성된 저차원 부분공간에 클러스터 중심을 제한함으로써 확장 가능한 커널 클러스터링 알고리즘인 Approximate Kernel k-means(aKKm)를 제안한다. 이 방법은 전체 커널 k-means와 유사한 클러스터링 성능을 달성하면서도 시간과 메모리 비용을 크게 줄이며, 앙상블 클러스터링 기법을 활용해 정확도를 추가로 향상시킨다.

ABSTRACT

Kernel-based clustering algorithms have the ability to capture the non-linear structure in real world data. Among various kernel-based clustering algorithms, kernel k-means has gained popularity due to its simple iterative nature and ease of implementation. However, its run-time complexity and memory footprint increase quadratically in terms of the size of the data set, and hence, large data sets cannot be clustered efficiently. In this paper, we propose an approximation scheme based on randomization, called the Approximate Kernel k-means. We approximate the cluster centers using the kernel similarity between a few sampled points and all the points in the data set. We show that the proposed method achieves better clustering performance than the traditional low rank kernel approximation based clustering schemes. We also demonstrate that its running time and memory requirements are significantly lower than those of kernel k-means, with only a small reduction in the clustering quality on several public domain large data sets. We then employ ensemble clustering techniques to further enhance the performance of our algorithm.

연구 동기 및 목표

• 대규모 데이터셋에서 커널 k-means의 이차 시간 및 메모리 복잡도 문제를 해결하여 확장 가능한 커널 기반 클러스터링을 가능하게 하기.
• 전체 n×n 커널 행렬을 계산하지 않으면서도 클러스터링 품질을 유지하는 효율적인 근사 기법을 개발하기.
• 나이브 Nystrom 방법에 비해 더 나은 성능을 내기 위해 Nystrom 프레임워크에서 고유벡터를 새로운 방식으로 활용함으로써 기존의 저랭크 커널 근사 방법보다 향상된 성능을 달성하기.
• 약한 커널 방법과 앙상블 클러스터링 기법을 통합하여 클러스터링 정확도를 향상시키기.
• 나이브 Nystrom 방법보다 더 날카운 정확도 오차 이론적 경계를 제공하기

제안 방법

• m ≪ n인 데이터 포인트를 랜덤하게 샘플링하고, 이들 간의 커널 유사도를 이용해 전체 포인트들에 대한 n×m 커널 행렬을 구성함으로써 저장 및 계산 비용을 감소시킴.
• 클러스터 중심을 샘플된 m개의 점들에 의해 생성된 부분공간 내에서 근사함으로써 전체 커널 행렬 계산을 피함.
• 모든 고유벡터를 명시적으로 계산하지 않고도 약한 커널 행렬의 모든 고유벡터를 활용함으로써 스펙트럴 클러스터링 변종보다 정확도를 향상시킴.
• 커널 행렬의 일관성(coherence)과 샘플링 분포를 분석함으로써, 나이브 Nystrom 방법보다 더 날카운 커널 근사 오차 이론적 경계를 확보함.
• 다양한 랜덤 샘플을 사용해 여러 번 실행한 후 메타-클러스터링을 통해 결과를 통합함으로써 앙상블 클러스터링을 적용함으로써 강건성과 성능을 향상시킴.
• 행렬 농도 및 스펙트럴 근사 이론에 기반한 이론적 보증을 제공하는 Nystrom 근사 프레임워크에 기반함.

실험 결과

연구 질문

• RQ1 전체 커널 행렬을 계산하지 않으면서도 대규모 데이터셋에 대해 효율적으로 확장 가능한 커널 k-means 변종을 설계할 수 있는가?
• RQ2 제안된 근사 기법은 기존의 저랭크 커널 근사 방법에 비해 클러스터링 정확도에서 어떻게 비교되는가?
• RQ3 나이브 Nystrom 방법에 비해 커널 근사 오차에 대한 이론적 경계를 향상시킬 수 있는가?
• RQ4 앙상블 클러스터링 기법을 통합하면 약한 커널 k-means 알고리즘의 성능을 추가로 향상시킬 수 있는가?
• RQ5 기존 커널 k-means 및 기타 확장 가능한 대안 대비 제안된 방법의 계산 효율성과 클러스터링 품질 간의 상호 상충 관계는 어떠한가?

주요 결과

• 제안된 aKKm 알고리즘은 여러 공개 대규모 데이터셋에서 전체 커널 k-means와 유사한 클러스터링 성능를 달성하며, 정확도 저하가 미미함.
• 계산 복잡도와 메모리 사용량을 O(n²)에서 O(nm)으로 감소시켜, 대규모 데이터셋에서 뚜렷한 속도 향상을 이룸.
• 이론적 분석 결과, 커널 근사 오차 경계가 나이브 Nystrom 방법보다 더 날카로우며, 특히 커널 행렬의 일관성이 낮을 경우에 뚜렷한 개선 효과를 보임.
• 실험 결과, aKKm는 Nystrom 기반 스펙트럴 클러스터링을 포함한 다른 확장 가능한 커널 클러스터링 방법보다 클러스터링 정확도에서 뛰어남.
• 앙상블 클러스터링 기법의 통합은 특히 노이즈가 많거나 복잡한 데이터 구조에서 aKKm의 강건성과 성능을 추가로 향상시킴.
• 알고리즘이 수만 개의 포인트를 포함하는 데이터셋에 효과적으로 스케일업되며, 비선형 클러스터 구조를 유지하면서도 높은 효율성을 확보함.