[论文解读] Community estimation in $G$-models via CORD

Florentina Bunea, Christophe Giraud+1 more|arXiv (Cornell University)|Aug 8, 2015

Advanced Clustering Algorithms Research参考文献 20被引用 6

一句话总结

本文提出 CORD，一种基于新型 $G$-可交换模型的 $G$-模型中社区估计的新方法，该模型确保了划分的可识别性。通过与 $G$-块协方差模型的联系，CORD 在最小最大最优分离率下一致地恢复了真实的社区结构，在合成数据和真实数据上均优于现有聚类方法。

ABSTRACT

Given a zero mean random vector ${\bf X}=:(X_1,\ldots,X_p)\in R^p$, we consider the problem of defining and estimating a partition $G$ of $\{1,\ldots,p\}$ such that the components of ${\bf X}$ with indices in the same group of the partition have a similar, community-like behavior. We introduce a new model, the $G$-exchangeable model, to define group similarity. This model is a natural extension of the more commonly used $G$-latent model, for which the partition $G$ is generally not identifiable, without additional restrictions on ${\bf X}$. In contrast, we show that for any random vector ${\bf X}$ there exists an identifiable partition $G$ according to which ${\bf X}$ is $G$-exchangeable, thereby providing a clear target for community estimation. Moreover, we provide another model, the $G$-block covariance model, which generalizes the $G$-exchangeable model, and can be of interest in its own right for defining group similarity. We discuss connections between the three types of $G$-models. We exploit the connection with $G$-block covariance models to develop a new metric, CORD, and a homonymous method for community estimation. We specialize and analyze our method for Gaussian copula data. We show that this method recovers the partition according to which ${\bf X}$ is $G$-exchangeable with a $G$-block copula correlation matrix. In the particular case of Gaussian distributions, this estimator, under mild assumptions, identifies the unique minimal partition according to the $G$-latent model. The CORD estimator is consistent as long as the communities are separated at a rate that we prove to be minimax optimal, via lower bound calculations. Our procedure is fast and extensive numerical studies show that it recovers communities defined by our models, while existing variable clustering algorithms typically fail to do so. This is further supported by two real-data examples.

研究动机与目标

• 通过引入一种新的 $G$-可交换模型，解决 $G$-潜变量模型中的可识别性问题，确保变量划分 $G$ 的唯一性和可识别性。
• 通过严谨的概率框架定义高维随机向量中的组间相似性，捕捉类似社区的行为特征。
• 开发一种基于 $G$-块协方差模型的快速、一致的社区估计方法 CORD，适用于高斯似然与高斯数据。
• 在最小分离条件下建立 CORD 的理论一致性，并通过下界分析证明其最小最大最优性。
• 通过实证结果表明，CORD 在恢复由所提模型定义的社区结构方面优于现有变量聚类算法。

提出的方法

• 提出 $G$-可交换模型作为 $G$-潜变量模型的自然扩展，确保任意随机向量 $\mathbf{X}$ 的划分 $G$ 具有可识别性。
• 引入 $G$-块协方差模型作为 $G$-可交换模型的推广，实现对组内相关结构的灵活建模。
• 基于 $G$-块协方差结构，开发 CORD（基于 $G$-块协方差的社区估计）作为新度量与估计方法。
• 将 CORD 应用于高斯似然数据，证明当相关矩阵具有 $G$-块结构时，CORD 可恢复 $G$-可交换划分。
• 在弱假设下建立 CORD 的理论一致性，证明只要社区之间的分离速率匹配最小最大下界，恢复即为可能。
• 采用下界计算证明，实现一致恢复所需的分离速率是最小最大最优的。

实验结果

研究问题

• RQ1 在能捕捉高维数据中类似社区行为的概率模型下，能否为变量定义唯一且可识别的划分？
• RQ2 如何构建 $G$-可交换模型，以确保在不额外限制 $\mathbf{X}$ 的条件下，社区结构具有可识别性？
• RQ3 在 $G$-模型中，一致社区估计所需的分离速率的理论极限是什么？
• RQ4 能否开发一种新度量与估计方法（CORD），利用 $G$-块协方差结构实现一致恢复？
• RQ5 在合成数据与真实世界数据上，CORD 与现有变量聚类算法相比，在准确性和鲁棒性方面表现如何？

主要发现

• $G$-可交换模型保证了任意零均值随机向量 $\mathbf{X}$ 存在可识别的划分 $G$，从而解决了 $G$-潜变量模型的可识别性问题。
• 在弱假设下，当相关矩阵为 $G$-块结构时，CORD 能够一致地恢复 $G$-可交换划分。
• 通过下界计算确认，CORD 实现一致恢复所需的分离速率是最小最大最优的。
• 对于高斯数据，CORD 能识别出 $G$-潜变量模型下的唯一最小划分，为社区估计提供了有原则的解决方案。
• 大量数值实验表明，CORD 能成功恢复由 $G$-可交换模型与 $G$-块模型定义的社区结构，而现有聚类算法通常失效。
• 两个真实数据示例展示了 CORD 在高维场景下识别有意义社区结构的实际有效性。