[论文解读] Adaptive Clustering through Semidefinite Programming

Martin Royer|arXiv (Cornell University)|May 18, 2017

Bayesian Methods and Mixture Models参考文献 9被引用 11

一句话总结

该论文提出了一种基于凸半定规划的估计器，用于自适应聚类，在灵活的概率模型下，以高概率实现对真实划分的精确恢复。该方法在高维设置下具有最优性，能自适应于有效维度和未知的聚类数 $K$，并通过引入惩罚项和校正公式，提升了鲁棒性，并提供了非渐近性能保证，优于以往的 K-means 松弛方法。

ABSTRACT

We analyze the clustering problem through a flexible probabilistic model that aims to identify an optimal partition on the sample X 1 , ..., X n. We perform exact clustering with high probability using a convex semidefinite estimator that interprets as a corrected, relaxed version of K-means. The estimator is analyzed through a non-asymptotic framework and showed to be optimal or near-optimal in recovering the partition. Furthermore, its performances are shown to be adaptive to the problem's effective dimension, as well as to K the unknown number of groups in this partition. We illustrate the method's performances in comparison to other classical clustering algorithms with numerical experiments on simulated data.

研究动机与目标

• 开发一种用于点聚类的凸惩罚半定规划估计器，以在高概率下实现对真实划分的精确恢复。
• 在允许未知且可变聚类结构的灵活概率模型下分析该估计器。
• 建立在高维设置下最优或近似最优的非渐近性能保证。
• 展示该方法对数据有效维度和未知聚类数 $K$ 的自适应性。
• 为经典 K-means 和对初始化及模型误设敏感的概率聚类方法提供一种鲁棒的替代方案。

提出的方法

• 该方法基于 Peng & Wei (2012) 的思想并借鉴 Bunea et al. (2012) 的方法，提出一种受罚的半定规划，其基于 K-means 目标的校正松弛。
• 引入一种聚类问题的凸松弛，可解释为 K-means 的校正、松弛版本，确保凸性与可计算性。
• 在子高斯混合模型下分析估计器，假设数据点满足 $(\tilde{\mathcal{G}}, \boldsymbol{\mu}, \delta)$-聚类，且分离参数 $\rho(\tilde{\mathcal{G}}, \boldsymbol{\mu}, \delta) > 4$。
• 使用非渐近浓度不等式，包括 Hanson-Wright 不等式和子高斯二次型界，控制经验 Gram 矩阵与其期望之间的偏差。
• 利用 $\varepsilon$-网论证和矩阵浓度技术，界定向心经验 Gram 矩阵的算子范数，确保稳定性与恢复保证。
• 证明该估计器对未知 $K$ 和有效维度具有鲁棒性，其性能能自适应于数据的内在结构。

实验结果

研究问题

• RQ1 在灵活的概率模型下，基于凸半定规划的公式能否以高概率实现精确聚类恢复？
• RQ2 在 $p \gg n$ 的高维设置下，该估计器的性能如何？
• RQ3 该方法在多大程度上能自适应于数据的有效维度和未知聚类数 $K$？
• RQ4 与标准 K-means 及其他聚类方法相比，所提出的受罚校正半定松弛是否在恢复准确性和鲁棒性方面表现更优？
• RQ5 在子高斯噪声假设下，该估计器能建立何种非渐近保证？

主要发现

• 在判别能力 $\rho(\mathcal{G}, \boldsymbol{\mu}, \delta) > 4$ 的条件下，所提出的半定估计器能以高概率实现精确聚类恢复。
• 在恢复误差方面，该方法为最优或近似最优，优于以往 K-means 的半定松弛方法，如 Mixon et al. (2016) 所提出的方法。
• 该估计器能自适应于数据的有效维度，在 $p \gg n$ 的情况下仍保持优异性能。
• 该方法在无需事先知晓聚类数 $K$ 的情况下依然有效，并在相同概率模型下实现精确恢复。
• 通过 $\varepsilon$-网和 Hanson-Wright 技术，推导出向心 Gram 矩阵算子范数的非渐近界，实现紧密的浓度控制。
• 在模拟数据上的数值实验验证了该方法在效率和鲁棒性方面优于经典聚类算法。