[论文解读] Minimax Optimal Variable Clustering in G-models via Cord

Florentina Bunea, Christophe Giraud+1 more|arXiv (Cornell University)|Aug 8, 2015

Bayesian Methods and Mixture Models参考文献 1被引用 8

一句话总结

本论文提出 CORD，一种基于对称相关性的极小极大最优变量聚类方法，适用于 G-模型，通过基于对 copula 的相似性度量，在 $\sqrt{\log p / n}$ 的速率下实现精确划分恢复，且不受聚类数量或大小的影响，计算时间复杂度为多项式时间，并通过 $G$-可交换性和 $G$-块协方差模型确保可识别性。

ABSTRACT

The goal of variable clustering is to partition a random vector ${\bf X} \in R^p$ in sub-groups of similar probabilistic behavior. Popular methods such as hierarchical clustering or $K$-means are algorithmic procedures applied to observations on ${\bf X}$, while no population level target is defined prior to estimation. We take a different view in this paper, where we propose and investigate model based variable clustering. We consider three models, of increasing level of complexity, termed generically $G$-models, with $G$ standing for the partition to be estimated. Motivated by the potential lack of identifiability of the $G$-latent models, which are currently used in problems involving variable clustering, we introduce two new classes of models, the $G$-exchangeable and the $G$-block covariance models. We show that both classes are identifiable, for any distribution of ${\bf X}$. Our focus is on clusters that are invariant with respect to unknown monotone transformations of the data, and that can be estimated in a computationally feasible manner. Both desiderata can be met if the clusters correspond to blocks in the copula correlation matrix of ${\bf X}$, assumed to have a Gaussian copula distribution. This motivates the introduction of a new similarity metric for cluster membership, CORD, and a homonymous method for cluster estimation. Central to our work is the derivation of the minimax value of the CORD cluster separation for exact partition recovery. We obtained the surprising result that this value is of order $\sqrt{{\log (p)}/{n}}$, irrespective of the number of clusters, or of the size of the smallest cluster. Our new procedure, CORD, available on CRAN, achieves this bound, is easy to implement and has computational complexity that is polynomial in $p$.

研究动机与目标

• 为解决现有变量聚类方法在总体水平上缺乏目标的问题，提出基于模型的聚类方法，确保模型可识别。
• 开发一种对数据单调变换不变的聚类方法，确保在不同数据尺度下的鲁棒性。
• 在不依赖聚类数量或大小的前提下，实现精确划分恢复并达到极小极大最优性能。
• 提出一种计算上可行的方法，其时间复杂度在 $p$ 上为多项式，适用于高维设置。
• 通过引入 $G$-可交换和 $G$-块协方差模型，确保聚类模型的可识别性。

提出的方法

• 提出 $G$-可交换和 $G$-块协方差模型，作为传统潜在变量模型在变量聚类中可识别的替代方案。
• 基于高斯对 copula 假设下的对 copula 相关系数矩阵，定义一种新的相似性度量 CORD。
• 利用对 copula 相关系数矩阵识别聚类为块结构，确保对单调变换的不变性。
• 推导出在 $G$-模型下实现精确划分恢复的极小极大最优聚类分离阈值，为 $\sqrt{\log p / n}$。
• 开发一种时间复杂度为多项式的 CORD 算法，实现极小极大速率。
• 采用总体水平建模方法，避免依赖 K-均值或层次聚类等基于数据样本的算法过程。

实验结果

研究问题

• RQ1 在高斯对 copula 假设下，$G$-模型中精确变量聚类恢复的极小极大最优速率是多少？
• RQ2 是否存在一种聚类方法，既能对单调变换保持不变，又可在 $\mathbf{X}$ 的所有分布下保持可识别性？
• RQ3 是否可能在聚类结构无关的前提下，实现计算复杂度为 $p$ 的多项式时间的精确划分恢复？
• RQ4 极小极大速率如何依赖于 $p$ 和 $n$？是否依赖于聚类数量或大小？
• RQ5 是否可以在不施加强参数假设的前提下，保证变量聚类模型的可识别性？

主要发现

• 实现精确划分恢复的极小极大最优聚类分离阈值为 $\sqrt{\log p / n}$，且与聚类数量或最小聚类大小无关。
• CORD 方法实现了该极小极大速率，展示了在变量聚类中最优的统计性能。
• $G$-可交换和 $G$-块协方差模型对任意 $\mathbf{X}$ 的分布均具有可识别性，解决了 $G$-潜在变量模型中以往的可识别性问题。
• CORD 计算高效，其时间复杂度在 $p$ 上为多项式，适用于高维设置下的可扩展性。
• 该方法对数据的未知单调变换保持不变，确保在实际应用中的鲁棒性。
• CORD 已发布于 CRAN，支持在统计软件中实际部署与可复现性。