[논문 리뷰] Kernel k-Means, By All Means: Algorithms and Strong Consistency

Debolina Paul, Saptarshi Chakraborty외 2명|arXiv (Cornell University)|2020. 11. 12.

Face and Expression Recognition참고 문헌 42인용 수 8

한 줄 요약

이 논문은 커널 특징 공간에서 암묵적으로 애너일링을 수행함으로써 커널 k-means에서의 국소 최소값 문제를 해결하는 새로운 알고리즘인 커널 파wr k-means(KPK)를 제안한다. 파워 평균과 주요화-최소화 기법을 활용하여 중심점 추정에서 높은 일致성을 달성하고, 폐쇄형 업데이트와 낮은 계산 비용을 바탕으로 비선형 및 다중뷰 클러스터링 벤치마크에서 기존 방법들을 능가한다.

ABSTRACT

Kernel $k$-means clustering is a powerful tool for unsupervised learning of non-linearly separable data. Since the earliest attempts, researchers have noted that such algorithms often become trapped by local minima arising from non-convexity of the underlying objective function. In this paper, we generalize recent results leveraging a general family of means to combat sub-optimal local solutions to the kernel and multi-kernel settings. Called Kernel Power $k$-Means, our algorithm makes use of majorization-minimization (MM) to better solve this non-convex problem. We show the method implicitly performs annealing in kernel feature space while retaining efficient, closed-form updates, and we rigorously characterize its convergence properties both from computational and statistical points of view. In particular, we characterize the large sample behavior of the proposed method by establishing strong consistency guarantees. Its merits are thoroughly validated on a suite of simulated datasets and real data benchmarks that feature non-linear and multi-view separation.

연구 동기 및 목표

• 비볼록 최적화로 인해 지속적으로 발생하는 커널 k-means 클러스터링에서의 국소 최소값 문제를 해결하기 위해.
• 이전에 선형 환경에서 효과적이었던 파워 k-means 프레임워크를 커널 및 다중 커널 클러스터링으로 확장하기 위해.
• 대표 표본 크기의 점점 증가하는 조건 하에서 중심점 추정의 강력한 일치성과 같은 이론적 보장을 수립하기 위해.
• 특징 공간에서 암묵적인 애너일링을 수행하지만 명시적인 하이퍼파라미터 튜닝 없이도 효율적인 폐쇄형 알고리즘을 개발하기 위해.
• 비선형 및 다중뷰 데이터에서의 성능을 검증하여, 커널 k-means 및 유사한 방법들보다 뛰어난 성능을 보여주기 위해.

제안 방법

• 파워 평균을 커널 유도 특징 공간으로 일반화하여 커널 파워 k-means(KPK)를 제안하며, 평균 유형을 제어하는 파rameter s를 사용한다.
• 주요화-최소화(MM) 기법을 활용하여 일련의 볼록 대체 함수를 반복적으로 최소화함으로써 수렴을 보장한다.
• s를 점차 -∞로 감소시킴으로써 특징 공간에서 암묵적인 애너일링을 수행하며, 목적 함수를 부드럽게 하고 열악한 국소 최소값에서 벗어나게 한다.
• 클러스터 할당과 중심점에 대한 폐쇄형 업데이트를 유도하여, 반복당 계산 비용을 O(n²kL)로 유지함으로써 계산 효율성을 확보한다.
• 다중 커널 설정으로의 확장을 위해 다수의 커널을 가중 조합하는 방식을 통해 다중 커널 파워 k-means(MKPK)로 확장한다.
• 다중 뷰 학습에서 다양한 뷰 간의 안정성과 호환성을 확보하기 위해 커널 행렬을 정규화하고 스케일링한다.

실험 결과

연구 질문

• RQ1 파워 평균 프레임워크를 커널 및 다중 커널 클러스터링으로 성공적으로 확장할 수 있는가? 이는 수렴성 향상과 국소 최소값 회피에 기여하는가?
• RQ2 제안된 KPK 알고리즘이 대표 표본 크기가 증가하는 점근적 조건 하에서 중심점 추정에 대해 강력한 일치성을 달성하는가?
• RQ3 KPK의 암묵적 애너일링 메커니즘은 클러스터링 정확도 측면에서 명시적 애너일링 또는 초기화 기반 방법과 비교해 어떻게 성능을 냈는가?
• RQ4 KPK는 비선형 및 다중뷰 데이터에서 기존 커널 k-means 변종보다 뛰어난 성능을 유지하면서도 낮은 계산 복잡도를 유지할 수 있는가?
• RQ5 파워 평균 파rameter s는 수렴성과 클러스터링 성능에 어떤 영향을 미치며, 이를 어떻게 스케줄링해야 하는가?

주요 결과

• 두 고리 형태 데이터셋에서 KPK는 20회의 재시작 동안 평균 조정 랜드 지수(ARI)가 1.0을 기록했으며, 표준 커널 k-means는 단지 0.78 ARI를 기록하여 성능을 뛰어넘었다.
• UCI 및 ASU 레포지토리의 실세계 데이터셋에서 KPK는 대부분의 경우 통계적으로 유의미한 5% 수준에서 NMI 측정치에서 동료 알고리즘들을 뛰어넘었다.
• 제안된 다중 커널 파워 k-means(MKPK)는 낮은 계산 복잡도에도 불구하고 다중 뷰 데이터셋에서 최신 기술 수준의 NMI 성능을 달성했으며, MKKM, RKKM, RMKKM 등의 방법들을 초월했다.
• KPK는 반복당 계산 비용이 O(n²kL)을 유지하여, MKKM와 유사한 수준이며 RMKKM의 O(n³ + n² + n)L보다 훨씬 낮아 스케일링 가능하고 실용적이다.
• 이론적 분석을 통해 목적 함수 수열의 균일 수렴성과 대표 표본 크기가 증가하는 조건 하에서 중심점 추정의 강력한 일치성을 입증하였다.
• 실험 결과 KPK는 표준 커널 k-means가 자주 악성 국소 최소값에 갇히는 것과 달리, 다양한 무작위 초기화 조건에서도 항상 전역 최적해로 수렴하는 것으로 나타났다.