[論文レビュー] Minimax Optimal Variable Clustering in G-models via Cord

Florentina Bunea, Christophe Giraud+1 more|arXiv (Cornell University)|Aug 8, 2015

Bayesian Methods and Mixture Models参考文献 1被引用数 8

ひとこと要約

本稿では、コプゥラに基づく類似性を用いたGモデルにおける変数クラスタリングのためのミニマックス最適な手法CORDを提案する。この手法は、クラスタ数やサイズに依存せず、$ olimits\sqrt{\log p / n}$ のレートで正確なパーティション回復を達成する。計算は多項式時間で実行可能であり、$G$-交換可能および$G$-ブロック共分散モデルにより識別可能性が保証される。

ABSTRACT

The goal of variable clustering is to partition a random vector ${\bf X} \in R^p$ in sub-groups of similar probabilistic behavior. Popular methods such as hierarchical clustering or $K$-means are algorithmic procedures applied to observations on ${\bf X}$, while no population level target is defined prior to estimation. We take a different view in this paper, where we propose and investigate model based variable clustering. We consider three models, of increasing level of complexity, termed generically $G$-models, with $G$ standing for the partition to be estimated. Motivated by the potential lack of identifiability of the $G$-latent models, which are currently used in problems involving variable clustering, we introduce two new classes of models, the $G$-exchangeable and the $G$-block covariance models. We show that both classes are identifiable, for any distribution of ${\bf X}$. Our focus is on clusters that are invariant with respect to unknown monotone transformations of the data, and that can be estimated in a computationally feasible manner. Both desiderata can be met if the clusters correspond to blocks in the copula correlation matrix of ${\bf X}$, assumed to have a Gaussian copula distribution. This motivates the introduction of a new similarity metric for cluster membership, CORD, and a homonymous method for cluster estimation. Central to our work is the derivation of the minimax value of the CORD cluster separation for exact partition recovery. We obtained the surprising result that this value is of order $\sqrt{{\log (p)}/{n}}$, irrespective of the number of clusters, or of the size of the smallest cluster. Our new procedure, CORD, available on CRAN, achieves this bound, is easy to implement and has computational complexity that is polynomial in $p$.

研究の動機と目的

• 既存の変数クラスタリング手法に共通する母集団レベルのターゲットの欠如を是正するため、識別可能なモデルに基づくクラスタリングの提案。
• データの単調変換に対して不変なクラスタリング手法の開発により、異なるスケールのデータに対してロバストであることを保証。
• クラスタ数やサイズに依存せず、正確なパーティション回復を達成するミニマックス最適な性能の実現。
• 高次元設定に適した、$p$ に関して多項式時間の計算複雑性を持つ実用的な手法の導入。
• $G$-交換可能および$G$-ブロック共分散モデルの導入により、クラスタリングモデルの識別可能性を保証。

提案手法

• 従来の潜在変数モデルに代わる識別可能な代替手段として、$G$-交換可能および$G$-ブロック共分散モデルを提案。
• ガウス・コプゥラ仮定の下で、コプゥラ相関行列に基づく新しい類似性指標CORDを定義。
• コプゥラ相関行列を用いてクラスタをブロックとして同定し、単調変換に対して不変性を確保。
• 正確なパーティション回復のためのミニマックス最適なクラスタ分離閾値を$ olimits\sqrt{\log p / n}$ として導出。
• ミニマックスレートを達成する多項式時間のアルゴリズムをCORD用に開発。
• アルゴリズム的手法（例：$K$-means や階層的クラスタリング）に依存しない母集団レベルのモデリングアプローチを採用。

実験結果

リサーチクエスチョン

• RQ1 ガウス・コプゥラ仮定の下で、$G$-モデルにおける正確な変数クラスタリング回復のミニマックス最適レートは何か？
• RQ2 単調変換に対して不変であり、かつすべての$\mathbf{X}$の分布に対して識別可能なクラスタリング手法は可能か？
• RQ3 クラスタ構造に依存せず、$p$ に関して多項式時間の計算複雑性を持つ正確なパーティション回復は可能か？
• RQ4 ミニマックスレートは$p$ と$n$ にどのように依存するか？また、クラスタ数やサイズに依存するか？
• RQ5 強いパラメトリックな仮定を課さずに、変数クラスタリングモデルの識別可能性を保証できるか？

主な発見

• 正確なパーティション回復のためのミニマックス最適なクラスタ分離は、クラスタ数や最小クラスタサイズに依存せず、$ olimits\sqrt{\log p / n}$ に等しい。
• CORD手法はこのミニマックスレートを達成し、変数クラスタリングにおける最適な統計的性能を示している。
• $G$-交換可能および$G$-ブロック共分散モデルは、$\mathbf{X}$ の任意の分布に対して識別可能であり、$G$-潜在変数モデルにおける従来の識別可能性の問題を解決している。
• CORDは計算的に効率的であり、$p$ に関して多項式時間の複雑性を有し、高次元設定へのスケーラビリティを実現している。
• 本手法は、データの未知の単調変換に対して不変であるため、実世界の応用においてロバストである。
• CORDはCRANに登録されており、統計ソフトウェアにおける実用的導入と再現性を可能にしている。