[논문 리뷰] k-Means Clustering Is Matrix Factorization

Christian Bauckhage|arXiv (Cornell University)|2015. 12. 23.

Face and Expression Recognition참고 문헌 6인용 수 42

한 줄 요약

이 논문은 기존의 k-means 군집화가 수학적으로 낮은 질량의 행렬 분해 문제와 동치임을 입증한다. k-means 목적 함수가 데이터 행렬 X와 그의 낮은 질량 근사값 XZ^T(ZZ^T)^{-1}Z 간의 차이의 프로베니우스 노름과 동일함을 보여준다. 주요 기여는 k-means 최소화가 이진 할당 지표와 중심점 제약 조건을 갖는 제약 조건이 있는 행렬 분해와 동치임을 엄밀하게 유도한 것이다.

ABSTRACT

We show that the objective function of conventional k-means clustering can be expressed as the Frobenius norm of the difference of a data matrix and a low rank approximation of that data matrix. In short, we show that k-means clustering is a matrix factorization problem. These notes are meant as a reference and intended to provide a guided tour towards a result that is often mentioned but seldom made explicit in the literature.

연구 동기 및 목표

• k-means 군집화와 행렬 분해 간의 동치성을 공식적으로 입증하고자 하며, 이 관계는 자주 언급되지만 자세히 유도된 경우가 거의 없는 바이다.
• k-means의 목적 함수를 행렬 형태로 표현하여 그 수학적 기초를 명확히 하고자 한다.
• k-means 목적 함수가 데이터와 군집 할당을 포함한 행렬 차이의 제곱 프로베니우스 노름으로 재기록될 수 있음을 보여주고자 한다.
• k-means의 최적 군집 중심점이 이진 지표 제약 조건이 있는 행렬 분해 문제의 해와 정확히 일치함을 보여주고자 한다.
• 연구자들과 학부생들이 쉽게 접근할 수 있도록, k-means의 행렬 분해 해석을 명확히 하고 단계별로 자세히 유도하는 자가 포함된 유도 과정을 제공하고자 한다.

제안 방법

• 논문은 k-means 목적 함수를 데이터 포인트와 군집에 대한 합으로 표현한다: ∑ᵢ∑ⱼ zᵢⱼ‖xⱼ − μᵢ‖².
• 이 합을 데이터 행렬 X, 중심점 행렬 M, 이진 할당 행렬 Z를 포함하는 제곱 프로베니우스 노름 ‖X − MZ‖²로 재기록한다.
• 양변을 전개하고 추적 항등식 및 지표 행렬 Z의 성질을 사용하여 k-means 목적 함수와 행렬 분해 형태 간의 동치성을 증명한다.
• 중앙점 μᵢ의 폐쇄형 해를 유도한다: μᵢ = (1/nᵢ)∑ₓⱼ∈Cᵢ xⱼ이며, M = XZ^T(ZZ^T)^{-1}이 최적의 분해 행렬임을 보여준다.
• 추적의 순환 불변성과 ZZ^T의 대각선 구조를 활용하여 전개 과정에서의 추적 항을 상응시킨다.
• M의 해가 중심점의 평균과 정확히 일치함을 확인함으로써, 행렬 분해 해석이 타당함을 검증한다.

실험 결과

연구 질문

• RQ1 표준 행렬 노름을 사용하여 k-means 군집화 목적 함수를 행렬 분해 문제로 표현할 수 있는가?
• RQ2 k-means 목적 함수와 행렬 차이의 프로베니우스 노름 간의 정확한 수학적 관계는 무엇인가?
• RQ3 이진 지표 행렬 Z는 행렬 분해 프레임워크에서 군집 할당을 어떻게 강제하는가?
• RQ4 X와 Z에 대한 중심점 행렬 M의 폐쇄형 해는 무엇이며, 군집 평균과 어떻게 관련이 있는가?
• RQ5 최적으로 해결될 경우, k-means의 행렬 분해 공식화는 표준 k-means 알고리즘을 회복하는가?

주요 결과

• k-means 목적 함수는 중심점이 담긴 행렬 M과 이진 할당 행렬 Z를 포함한 제곱 프로베니우스 노름 ‖X − MZ‖²과 수학적으로 동치이다.
• 목적 함수는 ‖X − XZ^T(ZZ^T)^{-1}Z‖²로 재기록될 수 있으며, 이는 k-means가 제약 조건이 있는 낮은 질량 행렬 분해임을 보여준다.
• 최적 중심점 행렬 M은 M = XZ^T(ZZ^T)^{-1}로 주어지며, 이는 정확히 각 군집의 평균과 일치한다.
• 프로베니우스 노름 전개 과정에서의 추적 항이 표준 k-means 목적 함수의 항과 일대일로 일치함을 확인하였다.
• 행렬 분해 공식화는 k-means 최소화가 이진 할당 제약 조건 하에 군집 중심점이 생성하는 낮은 질량 부분공간으로 데이터를 투영하는 것과 동치임을 드러낸다.
• 결과적으로, k-means를 낮은 질량 행렬 근사의 한 형태로 이해하는 데 있어 공식적인 대수적 기초를 제공하며, 군집화와 낮은 질량 분해를 통합한다.