[论文解读] High-Dimensional Data Clustering

Charles Bouveyron, Stéphane Girard+1 more|Apr 4, 2006

Advanced Clustering Algorithms Research被引用 4

一句话总结

该论文提出高维数据聚类（HDDC），一种基于模型的聚类方法，采用子空间特定协方差结构的高斯混合模型以应对维度灾难问题。通过使用EM算法和BIC准则估计每个聚类的内在子空间与维度，HDDC减少了过拟合现象，并在高维数据（包括真实图像数据集）上优于现有方法。

ABSTRACT

Clustering in high-dimensional spaces is a difficult problem which is recurrent in many domains, for example in image analysis. The difficulty is due to the fact that high-dimensional data usually live in different low-dimensional subspaces hidden in the original space. This paper presents a family of Gaussian mixture models designed for high-dimensional data which combine the ideas of dimension reduction and parsimonious modeling. These models give rise to a clustering method based on the Expectation-Maximization algorithm which is called High-Dimensional Data Clustering (HDDC). In order to correctly fit the data, HDDC estimates the specific subspace and the intrinsic dimension of each group. Our experiments on artificial and real datasets show that HDDC outperforms existing methods for clustering high-dimensional data

研究动机与目标

• 为解决高维数据聚类中的维度灾难问题，传统方法因参数过多而产生过拟合。
• 开发一种鲁棒的聚类方法，以识别高维特征空间中隐藏于不同低维子空间内的聚类。
• 通过使用参数稀疏的高斯混合模型对每个聚类的内在维度与特定子空间进行建模，减轻参数估计负担。
• 通过子空间特定的参数化方式避免病态或奇异协方差矩阵，从而确保数值稳定性和计算效率。
• 在人工数据集与真实世界数据集（尤其是图像分析）上，评估HDDC与标准聚类方法的性能表现。

提出的方法

• HDDC采用一族高斯混合模型，其中每个聚类在独立的低维子空间中建模，从而减少需估计的参数数量。
• 该方法使用期望最大化（EM）算法进行参数估计，子空间与内在维度通过BIC准则与卡特尔碎石检验确定。
• 协方差矩阵通过特征值分解重新参数化，分别对子空间内（a_i）与正交补空间（b_i）方向估计不同特征值。
• 通过求解(B - A)的特征向量来优化子空间基Q，其中A与B为组内离散矩阵的加权和。
• 通过固定参数（如在聚类间共享a或b）定义不同模型变体，实现参数稀疏建模并提升鲁棒性。
• 该方法通过平衡模型拟合度与复杂度，利用BIC自动确定每个聚类的内在维度d。

实验结果

研究问题

• RQ1 当聚类位于不同低维子空间中时，基于模型的聚类方法是否能有效识别高维数据中的聚类？
• RQ2 在高维设置下，如何可靠地估计每个聚类的内在维度与子空间结构？
• RQ3 在样本量相对于维度较小的高维数据集中，HDDC是否在准确率与鲁棒性方面优于标准聚类方法？
• RQ4 与完整协方差矩阵或全局降维方法相比，子空间特定建模在多大程度上减少了过拟合？
• RQ5 HDDC如何处理高维数据中常见的病态或奇异经验协方差矩阵？

主要发现

• HDDC在人工数据集与真实世界高维数据集上均显著优于标准聚类方法，尤其在样本量相对于维度较小的场景下表现更优。
• 该方法成功识别出每个聚类的真实内在维度，BIC准则与碎石检验在模型选择中发挥了有效指导作用。
• 通过在各自子空间中建模每个聚类，HDDC减少了需估计的参数数量，从而缓解了过拟合并提升了泛化能力。
• 由于子空间特定参数化与基于特征值的分解，该算法对奇异或病态协方差矩阵表现出良好鲁棒性。
• 在图像分析数据集上的实证结果证实，HDDC在性能上优于基于PCA与全局降维的方法。
• 采用共享参数（如共同b或a）的参数稀疏模型进一步提升了计算效率与稳定性。