[論文レビュー] Simultaneous Clustering and Estimation of Heterogeneous Graphical Models

Botao Hao, Will Wei Sun+2 more|arXiv (Cornell University)|Nov 28, 2016

Statistical Methods and Inference参考文献 44被引用数 60

ひとこと要約

本論文は、高次元設定下での異質的グラフィカルモデルの同時クラスタリングと推定のための新規手法SCANを提案する。高次元ECMアルゴリズムに共同グラフィカルラッソペナルティを適用し、繰り返しクラスタ構造と精度行列を推定することで、統計的誤差と最適化誤差のバランスを取る理論的非漸近的誤差バインディングを達成し、膠芽腫（GBM）データにおいて優れた実験的性能を示す。

ABSTRACT

We consider joint estimation of multiple graphical models arising from heterogeneous and high-dimensional observations. Unlike most previous approaches which assume that the cluster structure is given in advance, an appealing feature of our method is to learn cluster structure while estimating heterogeneous graphical models. This is achieved via a high dimensional version of Expectation Conditional Maximization (ECM) algorithm (Meng and Rubin, 1993). A joint graphical lasso penalty is imposed on the conditional maximization step to extract both homogeneity and heterogeneity components across all clusters. Our algorithm is computationally efficient due to fast sparse learning routines and can be implemented without unsupervised learning knowledge. The superior performance of our method is demonstrated by extensive experiments and its application to a Glioblastoma cancer dataset reveals some new insights in understanding the Glioblastoma cancer. In theory, a non-asymptotic error bound is established for the output directly from our high dimensional ECM algorithm, and it consists of two quantities: statistical error (statistical accuracy) and optimization error (computational complexity). Such a result gives a theoretical guideline in terminating our ECM iterations.

研究の動機と目的

• クラスタラベルが事前に与えられていない状況でも、異質的グラフィカルモデルの推定とクラスタ構造の同定を同時に実行する手法の開発。
• 高次元かつ異質的データにおいて、クラスタメンバーシップの事前知識を仮定する既存手法の制限を克服すること。
• ビッグデータ応用における、同時クラスタリングとグラフィカルモデル学習のための計算効率的で使いやすいフレームワークの提供。
• 統計的誤差と最適化誤差のバランスを取る誤差バインディングを理論的に確立し、アルゴリズムの停止基準を導くこと。

提案手法

• 欠損したクラスタラベルと精度行列の推定を繰り返し行う高次元期待条件最大化（ECM）アルゴリズムを採用。
• 条件付き最大化ステップで共同グラフィカルラッソペナルティを導入し、クラスタ間の類似性とクラスタ内での多様性を促進。
• CMステップで高速なスパース学習ルーチンを用いることで、計算効率とスケーラビリティを確保。
• クラスタメンバーシップを潜在変数として扱い、クラスタ構造とグラフィカルモデルパラメータの同時学習を可能にする。
• グループと個別成分に分解可能な非凸ペナルティ構造を適用し、スパarsityとクラスタ固有の構造を促進。
• 統計的誤差と最適化誤差を組み合わせた理論的誤差バインディングを導出し、誤差成分の収束に基づく停止ガイドラインを提示。

実験結果

リサーチクエスチョン

• RQ1 統一的なフレームワークにより、高次元データにおけるクラスタ構造の学習と異質的グラフィカルモデルの推定を同時に実行できるか？
• RQ2 高次元設定下でクラスタメンバーシップの事前知識がなくとも、クラスタ構造をどのように同定できるか？
• RQ3 このような同時推定手順の収束性と精度に対して、どのような理論的保証を提供できるか？
• RQ4 グラフィカルラッソペナルティを併用することで、分離したクラスタリングとグラフィカルモデル学習に比べて推定性能がどのように向上するか？
• RQ5 統計的精度と計算コストのトレードオフを考慮した場合、ECMアルゴリズムの最適な停止基準は何か？

主な発見

• SCANは、膠芽腫（GBM）がんデータセットにおいて、他の手法に比べて顕著に高いクラスタリング精度を示し、実世界応用において優れた性能を発揮した。
• 理論的分析により、統計的誤差と最適化誤差に分解可能な非漸近的誤差バインディングが確立され、ECMアルゴリズムの原理的停止ルールが得られた。
• グループグラフィカルラッソペナルティを用いて、クラスタ間の共通構造と固有構造を同時にモデル化することで、推定精度が向上した。
• 実験的結果から、GBM亜型における遺伝子調節ネットワークに関する新たな生物学的知見が得られ、共有される調節パターンと特異的なパターンが明らかになった。
• アルゴリズムは計算的に効率的であり、非教師あり学習の専門知識を必要としないため、応用研究者にとって使いやすい。
• 収束解析により、アルゴリズムが有界誤差半径内に解に収束することが示され、そのバインディングはペナルティチューニングとデータ構造に依存する。