[论文解读] Energy Clustering

Guilherme França, Joshua T Vogelstein|arXiv (Cornell University)|Oct 26, 2017

Advanced Clustering Algorithms Research参考文献 2被引用 1

一句话总结

本文基於能量統計理論構建聚類方法，推導出在再生核希爾伯特空間（RKHS）中的一種二次約束二次規劃（QCQP），當核函數固定時，該方法在數學上等價於核k-means。文章提出一種基於哈蒂根方法的迭代演算法，其計算成本與核k-means相當，但在多種資料集上實現了更優異的聚類品質。

ABSTRACT

Energy statistics was proposed by Sz\'{e}kely in the 80's inspired by the Newtonian gravitational potential from classical mechanics, and it provides a hypothesis test for equality of distributions. It was further generalized from Euclidean spaces to metric spaces of strong negative type, and more recently, a connection with reproducing kernel Hilbert spaces (RKHS) was established. Here we consider the clustering problem from an energy statistics theory perspective, providing a precise mathematical formulation yielding a quadratically constrained quadratic program (QCQP) in the associated RKHS, thus establishing the connection with kernel methods. We show that this QCQP is equivalent to kernel $k$-means optimization problem once the kernel is fixed. These results imply a first principles derivation of kernel $k$-means from energy statistics. However, energy statistics fixes a family of standard kernels. Furthermore, we also consider a weighted version of energy statistics, making connection to graph partitioning problems. To find local optimizers of such QCQP we propose an iterative algorithm based on Hartigan's method, which in this case has the same computational cost as kernel $k$-means algorithm, based on Lloyd's heuristic, but usually with better clustering quality. We provide carefully designed numerical experiments showing the superiority of the proposed method compared to kernel $k$-means, spectral clustering, standard $k$-means, and Gaussian mixture models in a variety of settings.

研究动机与目标

• 建立能量統計與基於核的聚類方法之間的嚴謹數學聯繫。
• 在RKHS中推導出一種具有理論基礎的二次約束二次規劃（QCQP）聚類形式。
• 在核函數固定的情況下，證明所提出的QCQP與核k-means之間的等價性。
• 將能量統計推廣至加權版本，以建立與圖分割問題的聯繫。
• 開發一種高效迭代演算法，其聚類性能優於現有方法。

提出的方法

• 基於能量統計理論，將聚類問題形式化為由核函數所誘導的RKHS中的QCQP。
• 證明當核函數固定時，QCQP形式與核k-means在數學上完全等價。
• 引入加權能量統計量，使該框架能與圖分割問題建立聯繫。
• 提出一種受哈蒂根方法啟發的迭代演算法，其計算成本與核k-means相同。
• 利用基於核的表示方法，實現非線性聚類，同時保持理論嚴謹性。
• 採用對偶優化策略，以提升收斂速度與聚類品質。

实验结果

研究问题

• RQ1 能量統計能否為核k-means提供從第一原理出發的推導？
• RQ2 RKHS中的QCQP形式與現有核聚類方法之間有何關係？
• RQ3 基於哈蒂根的迭代演算法是否能在聚類品質上超越標準核k-means？
• RQ4 加權能量統計量對圖分割與聚類性能有何影響？
• RQ5 在多種情境下，所提出方法與譜聚類、標準k-means及高斯混合模型相比表現如何？

主要发现

• 當核函數固定時，所提出的RKHS中QCQP形式在數學上等價於核k-means，從能量統計理論出發為核k-means提供了理論基礎。
• 基於哈蒂根方法的迭代演算法在保持與核k-means相同計算複雜度的同時，實現了更優異的聚類品質。
• 在多組實驗設定下，該方法優於譜聚類、標準k-means與高斯混合模型。
• 加權能量統計量的形式成功將該框架與圖分割問題聯繫起來。
• 數值實驗表明，該方法在非線性與複雜資料分佈下均表現出一致的優越聚類品質。