[논문 리뷰] On Robustness of Kernel Clustering

Bowei Yan, Purnamrita Sarkar|arXiv (Cornell University)|2016. 06. 06.

Sparse and Compressive Sensing Techniques참고 문헌 3인용 수 4

한 줄 요약

이 논문은 임의의 이상치를 포함하는 고차원 혼합 모델 하에서 커널 클러스터링을 위한 정수형 프로그래밍(SDP) 근사를 제안하고 이론적 일致성과 안정성을 확립한다. SDP는 이상치가 없을 경우 강한 일치성(정확한 복원)을 달성하고 이상치가 있을 경우 약한 일치성(오분류율 감소)을 보이며, K-SVD보다 더 뛰어난 안정성과 수렴 속도를 보인다.

ABSTRACT

Clustering is one of the most important unsupervised problems in machine learning and statistics. Among many existing algorithms, kernel k-means has drawn much research attention due to its ability to find non-linear cluster boundaries and its inherent simplicity. There are two main approaches for kernel k-means: SVD of the kernel matrix and convex relaxations. Despite the attention kernel clustering has received both from theoretical and applied quarters, not much is known about robustness of the methods. In this paper we first introduce a semidefinite programming relaxation for the kernel clustering problem, then prove that under a suitable model specification, both the K-SVD and SDP approaches are consistent in the limit, albeit SDP is strongly consistent, i.e. achieves exact recovery, whereas K-SVD is weakly consistent, i.e. the fraction of misclassified nodes vanish.

연구 동기 및 목표

• 고차원 데이터에서 임의의 이상치가 존재할 경우 커널 클러스터링 방법—특히 K-SVD와 SDP의 안정성에 대해 조사한다.
• 서브-가우시안 혼합 모델 하에서 중심이 잘 분리된 클러스터를 가진 상황에서 K-SVD와 SDP에 대한 이론적 일치성 보장을 수립한다.
• 특히 오분류율과 수렴 행동 측면에서 K-SVD와 SDP의 이상치에 대한 내성 능력을 비교한다.
• 이론과 실험을 통해 SDP가 K-SVD보다 더 뛰어나며, 특히 이상치 수가 내재된 데이터에 비해 천천히 증가할 경우 더욱 두드러진다.

제안 방법

• 커널 행렬에 대한 볼록 최적화 문제로 표현된 새로운 정수형 프로그래밍(SDP) 근사를 제안한다.
• 서브-가우시안 혼합 모델에서 유도된 저랭크 커널 행렬을 사용하며, 이는 $ r $개의 크기가 동일한 내재 클러스터와 $ m $개의 임의의 이상치로 구성된다.
• 스펙트럼 섭동 이론과 난수 행렬 이론을 적용하여 고유벡터의 진짜 클러스터 구조로부터의 이탈을 한계화한다.
• 커널 행렬의 $ r $-번째와 $ (r+1) $-번째 고유값 간 격차를 이용해 잘못 클러스터링된 노드의 오차 한계를 유도한다.
• 실제로 SDP를 해결하기 위해 분할 상환 다중 승수 방법(ADMM)을 사용하여 확장 가능한 구현을 가능하게 한다.
• 클러스터 레이블 불확실성 해결을 위해 레이블 순열 검색을 사용하여 내재 정확도를 비교한다.

실험 결과

연구 질문

• RQ1 서브-가우시안 혼합 모델 하에서 SDP 근사가 일치성과 오차 한계 측면에서 어떻게 행동하는가?
• RQ2 이상치가 존재할 경우 K-SVD의 일치성과 오분류율 측면에서 성능은 어떠한가?
• RQ3 특히 이상치 수가 증가함에 따라 SDP 근사는 K-SVD보다 더 뛰어난 내성성을 보이는가?
• RQ4 오분류 오차는 최소 클러스터 간격, 클러스터 수, 이상치 수에 따라 어떻게 영향을 받는가?
• RQ5 스펙트럼 섭동 이론에서 유도된 이론적 오차 한계는 유한 표본에서의 실질적 성능을 정확히 예측할 수 있는가?

주요 결과

• SDP 근사는 강한 일치성을 달성한다: 이상치가 없는 모델 하에서 $ n \to \infty $ 일 때 오분류된 노드 수는 고확률로 0이 된다.
• K-SVD는 약한 일치성을 보인다: 오분류된 노드 비율은 고확률로 0으로 수렴하지만, 오분류된 노드 수는 0으로 수렴하지 않을 수 있다.
• 임의의 이상치가 존재할 경우 $ m = o(n) $ 조건 하에 두 방법 모두 약한 일치성을 보이지만, SDP는 훨씬 낮은 오분류 오차를 나타낸다.
• K-SVD의 이론적 오차 한계는 $ O_P\left(\max\left\{\frac{mn^2}{r(\lambda_r - \lambda_{r+1})^2}, \frac{n^3 \log p}{rp(\lambda_r - \lambda_{r+1})^2}\right\} \right) $ 로 표현되며, 이는 이상치 수와 클러스터 간격에 민감함을 시사한다.
• SDP는 K-SVD보다 이상치에 더 강건하다: 실험 결과에서 이상치 수가 증가함에 따라 SDP는 높은 내재 정확도를 유지하는 반면, 다른 방법들은 성능이 저하된다.
• 시뮬레이션 결과에서 클러스터 간격이 증가함에 따라 SDP는 K-SVD보다 더 빠르고 분산이 적게 수렴함을 확인하여 이론적 예측을 뒷받침한다.