[論文レビュー] Network-based clustering with mixtures of L1-penalized Gaussian graphical models: an empirical investigation

Steven M. Hill, Sach Mukherjee|arXiv (Cornell University)|Jan 10, 2013

Bioinformatics and Genomic Networks被引用数 6

ひとこと要約

本稿では、高次元データにおけるクラスタの同一定義とクラスタ固有のネットワーク構造の推定を同時に実行するため、ℓ₁正則化付きガウスグラフィカルモデルを組み合わせた混合モデルを提案する。この手法は、クラスタ固有の正則化を用いたEMアルゴリズムを採用しており、シミュレーションおよび実データにおいても安定した性能を示す。特に、クラスタリング精度とネットワーク回復の両面で、正則化項にγ = 1を用いることで性能が向上する。

ABSTRACT

In many applications, multivariate samples may harbor previously unrecognized heterogeneity at the level of conditional independence or network structure. For example, in cancer biology, disease subtypes may differ with respect to subtype-specific interplay between molecular components. Then, both subtype discovery and estimation of subtype-specific networks present important and related challenges. To enable such analyses, we put forward a mixture model whose components are sparse Gaussian graphical models. This brings together model-based clustering and graphical modeling to permit simultaneous estimation of cluster assignments and cluster-specific networks. We carry out estimation within an L1-penalized framework, and investigate several specific penalization regimes. We present empirical results on simulated data and provide general recommendations for the formulation and use of mixtures of L1-penalized Gaussian graphical models.

研究の動機と目的

• 高次元多変量データにおける隠れた異質性を同定する課題に取り組む。特に、サブタイプ間で条件付き独立構造が異なる場合に焦点を当てる。
• クラスタ割り当てとクラスタ固有のグラフィカルモデルを同時に推定するモデルベースのクラスタリングフレームワークを構築する。
• 異なるℓ₁正則化の設定がクラスタリングおよびネットワーク推定の性能に与える影響を調査する。
• 混合モデルに適用されるスパースガウスグラフィカルモデルにおけるチューニングパラメータおよび正則化形式の実用的推奨事項を提供する。
• 標準的なクラスタリング手法が、ネットワーク推定が不十分なために失敗する可能性がある、小規模または非平衡クラスタを含む状況でも、本手法のロバストネスを示す。

提案手法

• 有限混合モデルを提案し、各成分をℓ₁正則化付き最尤推定によるスパースガウスグラフィカルモデルとする。
• EMアルゴリズムを用いて、ℓ₁正則化下でのクラスタ割り当てと精度行列の反復的推定を実行する。
• 混合割合πₖの逆数に比例するクラスタ固有の正則化を適用し、小規模なクラスタに対してより強い正則化を施す。
• スパarsityを確保するための精度行列推定に、グラフィカルラassoアルゴリズム（Friedman et al., 2008）を効率的に用いる。
• 複数の正則化形式を検討し、正則化項にγ·||Ωₖ||₁の形でγ = 1を用いる設定が、シミュレーションで優れた性能を示す。
• 一般のKクラスタ設定に本手法を拡張可能であり、情報量基準、交差検証、またはトレイン/テスト分割を用いたモデル選択をサポートする。

実験結果

リサーチクエスチョン

• RQ1 ℓ₁正則化は、異質な高次元データにおけるクラスタ割り当ての正確性およびネットワーク構造回復にどのように影響するか？
• RQ2 スパースガウスグラフィカルモデルの混合モデルにおける、クラスタ固有の正則化の最適な形式は何か？
• RQ3 正則化項におけるチューニングパラメータγの選択が、クラスタリングおよびネットワーク推定の性能に与える影響は？
• RQ4 ℓ₁正則化付き成分を有する混合モデルは、生物学的に意味のあるサブタイプを検出する点で、非混合モデルや対角共分散モデルを上回る性能を示せるか？
• RQ5 本手法は、非平衡なクラスタサイズや少数クラスタにおける有効サンプルサイズが小さい場合に、どの程度感度を示すか？

主な発見

• 正則化項にγ = 1（γ·||Ωₖ||₁）を用いた混合モデルは、シミュレーションおよび実データの両方で他の正則化形式を常に上回り、より正確なクラスタ割り当てと良好なネットワーク回復を達成した。
• 混合割合πₖの逆数に比例するクラスタ固有の正則化は、非平衡クラスタ状況下でもロバストネスを向上させ、小規模クラスタにおける過剰適合を低減した。
• p = 25変数の状況でさえも、安定的かつスパースな精度行列推定を達成するためにはℓ₁正則化が不可欠であることが示され、中程度～高次元領域においてその必要性が裏付けられた。
• 真のクラスタラベルおよびネットワーク構造が事前に不明な状況でも、シミュレーションで真の構造を効果的に回復できた。
• 正則化が不適切に設定された場合、EMアルゴリズムは誤ったクラスタリングにおいても高い正則化尤度スコアに収束する傾向があり、正則化形式の感度が顕著に示された。
• 本手法はK > 2クラスタへの拡張が可能であり、最適なクラスタ数を決定するための標準的なモデル選択手法（情報量基準、交差検証、トレイン/テスト分割）をサポートする。