[논문 리뷰] Energy Clustering

Guilherme França, Joshua T Vogelstein|arXiv (Cornell University)|2017. 10. 26.

Advanced Clustering Algorithms Research참고 문헌 2인용 수 1

한 줄 요약

이 논문은 에너지 통계 이론을 활용하여 군집화를 수립하며, 고정된 커널 조건 하에서 재생 힐버트 공간(RKHS) 내에서 이차약한 제약을 가진 이차계획문(QCQP)을 유도한다. 이는 커널 k-means와 수학적으로 동치이며, 하르티건의 방법을 기반으로 한 반복 알고리즘을 제안하여 커널 k-means와 동일한 계산 비용을 유도하지만 다양한 데이터셋에서 뛰어난 군집화 품질을 달성한다.

ABSTRACT

Energy statistics was proposed by Sz\'{e}kely in the 80's inspired by the Newtonian gravitational potential from classical mechanics, and it provides a hypothesis test for equality of distributions. It was further generalized from Euclidean spaces to metric spaces of strong negative type, and more recently, a connection with reproducing kernel Hilbert spaces (RKHS) was established. Here we consider the clustering problem from an energy statistics theory perspective, providing a precise mathematical formulation yielding a quadratically constrained quadratic program (QCQP) in the associated RKHS, thus establishing the connection with kernel methods. We show that this QCQP is equivalent to kernel $k$-means optimization problem once the kernel is fixed. These results imply a first principles derivation of kernel $k$-means from energy statistics. However, energy statistics fixes a family of standard kernels. Furthermore, we also consider a weighted version of energy statistics, making connection to graph partitioning problems. To find local optimizers of such QCQP we propose an iterative algorithm based on Hartigan's method, which in this case has the same computational cost as kernel $k$-means algorithm, based on Lloyd's heuristic, but usually with better clustering quality. We provide carefully designed numerical experiments showing the superiority of the proposed method compared to kernel $k$-means, spectral clustering, standard $k$-means, and Gaussian mixture models in a variety of settings.

연구 동기 및 목표

• 에너지 통계와 커널 기반 군집화 방법 간의 엄밀한 수학적 연결을 수립하기 위해.
• 재생 힐버트 공간(RKHS) 내에서 원칙적인 군집화 수식으로서 이차약한 제약을 가진 이차계획문(QCQP)을 유도하기 위해.
• 고정된 커널 조건 하에서 제안된 QCQP와 커널 k-means 간의 동치성을 입증하기 위해.
• 그래프 분할 문제와의 연결을 위해 에너지 통계를 가중치 버전으로 확장하기 위해.
• 기존 방법보다 뛰어난 군집화 성능을 보이는 효율적인 반복 알고리즘을 개발하기 위해.

제안 방법

• 커널에 의해 유도되는 재생 힐버트 공간(RKHS) 내에서 군집화를 QCQP로 수식화하며, 에너지 통계 이론에 기반한다.
• 커널이 고정된 조건 하에서 QCQP 수식이 커널 k-means와 수학적으로 동치임을 입증한다.
• 프레임워크를 그래프 분할 문제와 연결하기 위해 가중치를 부여한 에너지 통계를 도입한다.
• 하르티건의 방법을 영감으로 삼은 반복 알고리즘을 제안하며, 계산 비용이 커널 k-means와 동일하다.
• 비선형 군집화를 가능하게 하면서도 이론적 기반을 유지하기 위해 커널 기반 표현을 활용한다.
• 수렴성과 군집화 품질 향상을 위해 이중 최적화 전략을 적용한다.

실험 결과

연구 질문

• RQ1 에너지 통계가 커널 k-means의 원천적 유도를 가능하게 할 수 있는가?
• RQ2 RKHS 내의 QCQP 수식은 기존 커널 군집화 방법과 어떻게 관련이 있는가?
• RQ3 하르티건 기반 반복 알고리즘이 군집화 품질에서 표준 커널 k-means를 초월할 수 있는가?
• RQ4 가중치를 부여한 에너지 통계는 그래프 분할 및 군집화 성능에 어떤 영향을 미치는가?
• RQ5 다양한 설정에서 제안된 방법은 스펙트럴 군집화, 표준 k-means 및 가우시안 혼합 모델과 비교해 어떻게 성능을 냈는가?

주요 결과

• 커널이 고정된 조건 하에서 제안된 RKHS 내 QCQP 수식은 커널 k-means와 수학적으로 동치이며, 에너지 통계 이론에 기반한 커널 k-means의 이론적 기반을 제공한다.
• 하르티건의 방법을 기반으로 한 반복 알고리즘은 동일한 계산 복잡도를 유지하면서도 커널 k-means보다 뛰어난 군집화 품질을 달성한다.
• 다양한 실험 설정에서 스펙트럴 군집화, 표준 k-means 및 가우시안 혼합 모델보다 뛰어난 성능을 보인다.
• 가중치를 부여한 에너지 통계 수식은 프레임워크를 그래프 분할 문제와 성공적으로 연결한다.
• 수치 실험을 통해 비선형적이고 복잡한 데이터 분포에서 일관되게 뛰어난 군집화 품질을 입증한다.