[論文レビュー] Community estimation in $G$-models via CORD

Florentina Bunea, Christophe Giraud+1 more|arXiv (Cornell University)|Aug 8, 2015

Advanced Clustering Algorithms Research参考文献 20被引用数 6

ひとこと要約

本稿では、$G$-モデルにおけるコミュニティ推定のための新しい手法CORDを提案する。新規の$G$-交換可能性モデルを用いることで、分割の同定可能性を保証する。$G$-ブロック共分散モデルとの関連を活用し、最小上限最適な分離レートのもとで真のコミュニティ構造を一貫して回復する。合成データおよび実データの両方で、既存のクラスタリング手法を上回る性能を示す。

ABSTRACT

Given a zero mean random vector ${\bf X}=:(X_1,\ldots,X_p)\in R^p$, we consider the problem of defining and estimating a partition $G$ of $\{1,\ldots,p\}$ such that the components of ${\bf X}$ with indices in the same group of the partition have a similar, community-like behavior. We introduce a new model, the $G$-exchangeable model, to define group similarity. This model is a natural extension of the more commonly used $G$-latent model, for which the partition $G$ is generally not identifiable, without additional restrictions on ${\bf X}$. In contrast, we show that for any random vector ${\bf X}$ there exists an identifiable partition $G$ according to which ${\bf X}$ is $G$-exchangeable, thereby providing a clear target for community estimation. Moreover, we provide another model, the $G$-block covariance model, which generalizes the $G$-exchangeable model, and can be of interest in its own right for defining group similarity. We discuss connections between the three types of $G$-models. We exploit the connection with $G$-block covariance models to develop a new metric, CORD, and a homonymous method for community estimation. We specialize and analyze our method for Gaussian copula data. We show that this method recovers the partition according to which ${\bf X}$ is $G$-exchangeable with a $G$-block copula correlation matrix. In the particular case of Gaussian distributions, this estimator, under mild assumptions, identifies the unique minimal partition according to the $G$-latent model. The CORD estimator is consistent as long as the communities are separated at a rate that we prove to be minimax optimal, via lower bound calculations. Our procedure is fast and extensive numerical studies show that it recovers communities defined by our models, while existing variable clustering algorithms typically fail to do so. This is further supported by two real-data examples.

研究の動機と目的

• 高次元データにおけるコミュニティに類似した挙動を捉える確率的枠組みを提供し、$G$-潜在変数モデルにおける同定可能性問題を解決する。
• 高次元ランダムベクトルにおけるグループの類似性を、整合的な確率的枠組みで定式化する。
• ガウスコプシラおよびガウス分布に適用可能な、$G$-ブロック共分散モデルに基づく高速かつ一貫性のあるコミュニティ推定手法CORDを開発する。
• 最小限の分離条件のもとでCORDの理論的一貫性を確立し、下界を用いて最小上限最適性を証明する。
• 実験的に、CORDが提案されたモデルに基づくコミュニティ構造を、既存の変数クラスタリングアルゴリズムを上回る精度で回復できることを示す。

提案手法

• 任意のランダムベクトル$\mathbf{X}$に対して、分割$G$の同定可能性を保証する$G$-交換可能性モデルを、$G$-潜在モデルの自然な拡張として提案する。
• $G$-交換可能性モデルの一般化として、グループ内相関構造を柔軟にモデル化可能な$G$-ブロック共分散モデルを導入する。
• $G$-ブロック共分散構造に基づき、新しいメトリクスおよび推定手法であるCORD（$G$-ブロック共分散を用いたコミュニティ推定）を構築する。
• ガウスコプシラデータにCORDを適用し、相関行列が$G$-ブロック構造を持つ場合に$G$-交換可能性分割を回復できることを示す。
• 弱い仮定のもとでCORDの理論的一貫性を確立し、コミュニティが最小上限下限に一致するレートで分離されていれば回復が可能であることを証明する。
• 下界の計算を用いて、一貫した回復に要する分離レートが最小上限最適であることを示す。

実験結果

リサーチクエスチョン

• RQ1 高次元データにおけるコミュニティに類似した挙動を捉える確率的モデルのもとで、変数の一意的かつ同定可能な分割を定義できるか？
• RQ2 変数$\mathbf{X}$に追加の制約を課さずに、コミュニティ構造の同定可能性を保証するように$G$-交換可能性モデルを構築するにはどうすればよいか？
• RQ3 $G$-モデルにおける一貫したコミュニティ推定に要する分離レートの理論的限界は何か？
• RQ4 $G$-ブロック共分散構造を活用して一貫した回復を達成する新しいメトリクスおよび推定手法（CORD）を開発できるか？
• RQ5 合成データおよび実世界のデータにおいて、CORDは既存の変数クラスタリングアルゴリズムと比べて、精度および頑健性の面で優れているか？

主な発見

• $G$-交換可能性モデルは、任意の平均ゼロのランダムベクトル$\mathbf{X}$に対して、同定可能な分割$G$の存在を保証し、$G$-潜在モデルの同定可能性問題を解決する。
• 相関行列が$G$-ブロック構造を持つ場合、弱い仮定のもとでCORDは$G$-交換可能性分割を一貫して回復する。
• CORDによる一貫した回復に要する分離レートは、下界計算により最小上限最適であることが確認された。
• ガウス分布の場合は、CORDは$G$-潜在モデルにおける一意の最小分割を特定し、コミュニティ推定の整合的解決策を提供する。
• 広範な数値実験により、CORDは$G$-交換可能性および$G$-ブロックモデルで定義されたコミュニティを効果的に回復するが、既存のクラスタリングアルゴリズムは一般的に失敗することが示された。
• 2つの実データ例から、CORDが高次元設定において意味のあるコミュニティ構造を効果的に同定できることを示した。