[논문 리뷰] Clustering by Low-Rank Doubly Stochastic Matrix Decomposition

Zhirong Yang, Erkki Oja|arXiv (Cornell University)|2012. 06. 18.

Sparse and Compressive Sensing Techniques참고 문헌 16인용 수 19

한 줄 요약

이 논문은 낮은 질량의 이중 확률 행렬 분해를 기반으로 하는 새로운 클러스터링 방법을 제안하며, 클러스터링을 가상의 클러스터 노드를 통한 이중 단계 이분 랜덤 워크로 모델링한다. 관측된 할당 확률과 근사된 할당 확률 간의 쿨백-라이블러 발산을 최소화함으로써, 특히 대규모 다양체 데이터에서 뛰어난 클러스터링 순도를 달성하며, 효과적인 최적화를 위한 이완된 주도-최소화 알고리즘을 사용한다.

ABSTRACT

Clustering analysis by nonnegative low-rank approximations has achieved remarkable progress in the past decade. However, most approximation approaches in this direction are still restricted to matrix factorization. We propose a new low-rank learning method to improve the clustering performance, which is beyond matrix factorization. The approximation is based on a two-step bipartite random walk through virtual cluster nodes, where the approximation is formed by only cluster assigning probabilities. Minimizing the approximation error measured by Kullback-Leibler divergence is equivalent to maximizing the likelihood of a discriminative model, which endows our method with a solid probabilistic interpretation. The optimization is implemented by a relaxed Majorization-Minimization algorithm that is advantageous in finding good local minima. Furthermore, we point out that the regularized algorithm with Dirichlet prior only serves as initialization. Experimental results show that the new method has strong performance in clustering purity for various datasets, especially for large-scale manifold data.

연구 동기 및 목표

• 기존 행렬 분해 기반의 클러스터링 방법의 한계를 해결하기 위해, 인수분해 기반이 아닌 낮은 질량 근사 프레임워크를 도입한다.
• 기존 방법이 성능을 저하시킬 수 있는 대규모 및 복잡한 다양체 구조를 가진 데이터셋에서 클러스터링 성능을 향상시킨다.
• 쿨백-라이블러 발산 최소화를 통한 가능도 최대화 기반의 견고한 확률적 기반을 갖춘 방법을 개발한다.
• 이완된 주도-최소화 최적화 전략을 통해 높은 품질의 국소 최소값을 찾는 강건한 클러스터링을 가능하게 한다.
• 디리클레 사전을 이용한 원칙적인 초기화를 제공하며, 이후 주 최적화 과정에서 이를 기각한다.

제안 방법

• 데이터 포인트와 가상의 클러스터 노드 사이의 이중 단계 이분 랜덤 워크로 클러스터링을 모델링하여 낮은 질량 근사를 생성한다.
• 행과 열의 합이 모두 1이 되도록 제약을 두어 이중 확률 행렬을 구성함으로써 확률 질량 보존을 보장한다.
• 관측된 유사도 행렬과 낮은 질량 근사 간의 근사 오차를 측정하기 위해 쿨백-라이블러 발산을 목적 함수로 사용한다.
• 쿨백-라이블러 발산의 최소화를 분류적 확률 모델에서 가능도 최대화 문제로 재구성함으로써 이론적 기반을 제공한다.
• 효율적인 수렴과 안정성을 확보하기 위해 이완된 주도-최소화(MM) 알고리즘을 사용하여 최적화를 구현한다.
• 정규화된 알고리즘에서 디리클레 사전은 오직 초기화 단계로만 사용되며, 최종 추론 과정의 일부가 아니다.

실험 결과

연구 질문

• RQ1 낮은 질량의 이중 확률 행렬 분해 접근 방식이 기존의 행렬 분해 방법보다 클러스터링 과제에서 뛰어난 성능을 보일 수 있는가?
• RQ2 가상의 클러스터 노드를 통한 이중 단계의 랜덤 워크로 클러스터링을 모델링할 경우, 데이터 클러스터의 표현과 분리가 향상되는가?
• RQ3 쿨백-라이블러 발산 최소화를 통한 확률적 해석이 클러스터링의 강건성과 해석 가능성에 얼마나 기여하는가?
• RQ4 이완된 주도-최소화 알고리즘이 대규모 데이터셋에서 높은 품질의 클러스터링 해를 도출하는 데 얼마나 효과적인가?
• RQ5 제안된 방법은 기존 방법이 실패할 수 있는 다양체 구조를 가진 데이터에서 강력한 성능을 유지하는가?

주요 결과

• 제안된 방법은 특히 대규모 다양체 데이터셋에서 기준 방법에 비해 뛰어난 클러스터링 순도를 달성한다.
• 쿨백-라이블러 발산을 목적 함수로 사용함으로써 가능도 최대화를 통한 원칙적인 확률적 해석이 가능해진다.
• 이완된 주도-최소화 알고리즘이 높은 품질의 국소 최소값을 효과적으로 찾으며 수렴성과 안정성을 향상시킨다.
• 디리클레 사전은 오직 초기화에만 사용되며 최종 클러스터링 결과에 영향을 주지 않아, 주 최적화 과정의 강건성을 시사한다.
• 실증 결과는 다양한 데이터셋에 걸쳐 강력한 일반화 성능을 보이며, 특히 복잡한 고차원 다양체에서 클러스터링 정확도 향상이 두드러진다.