[論文レビュー] Structure estimation for mixed graphical models in high-dimensional data

Jonas M B Haslbeck, Lourens Waldorp|arXiv (Cornell University)|Oct 19, 2015

Gene expression and cancer classification参考文献 17被引用数 54

ひとこと要約

本稿では、連続変数、カテゴリカル変数、度数変数、順序変数を含む混合変数タイプを有する高次元データにおける無向グラフィカルモデルの推定のための新規手法を提案する。この手法は、新しい種類の混合指数型分布と一般化された共分散行列推定を組み合わせることで、変数の変換を伴わずに正確で解釈可能な構造学習を可能にする。実世界のASDデータにおいて、ガウス近似法よりも優れた性能を示し、より洗練された生物学的に妥当な関係を明らかにする。

ABSTRACT

Undirected graphical models are a key component in the analysis of complex observational data in a large variety of disciplines. In many of these applications one is interested in estimating the undirected graphical model underlying a distribution over variables with different domains. Despite the pervasive need for such an estimation method, to date there is no such method that models all variables on their proper domain. We close this methodological gap by combining a new class of mixed graphical models with a structure estimation approach based on generalized covariance matrices. We report the performance of our methods using simulations, illustrate the method with a dataset on Autism Spectrum Disorder (ASD) and provide an implementation as an R-package.

研究の動機と目的

• 混合変数タイプ（例：連続、カテゴリカル、度数、順序）を有する多変量データにおけるマークフ・ランダムフィールド（MRF）を推定するための原則的で整合性のある手法の欠如に対処すること。
• 各変数をその適切な定義域上でモデル化する構造推定アプローチを開発し、データ変換に起因する情報損失を回避すること。
• 計算的に効率的で解釈可能な高次元混合グラフィカルモデルの推定手法を提供し、心理学、医学、社会科学などの分野に応用可能であること。
• 特に、複雑な条件付き独立構造を捉える能力において、ガウス近似法よりも優れた性能を示す実世界データにおける手法の優位性を実証すること。

提案手法

• ヤンら（2014）が提唱した新しい種類の混合指数型分布（Yang et al., 2014）と一般化された共分散行列推定を組み合わせ、混合変数タイプを統合的にモデル化する。
• ℓ₁正則化（ラッソ）を用いた罰則付き最尤推定により、スパースな逆一般化共分散行列を推定し、構造学習を可能にする。
• 各ノードの近隣を独立に推定するノードワイズ回帰を用い、計算スケーラビリティを確保する。
• グラフのスパarsityとモデル適合度を最適化するため、拡張ベイジアン情報基準（EBIC）を用いて正則化パラメータを選択する。
• 高次元かつサンプル数が限られた設定において、安定したλ選択を保証するため、交差検証にノイズ追加戦略を導入する。
• Rパッケージ（mgm）として実装し、CRANに公開することで、広範な利用可能性と再現可能性を確保する。

実験結果

リサーチクエスチョン

• RQ1 高次元データにおける混合変数タイプ（連続、カテゴリカル、度数、順序）を統合的に扱える統一的なグラフィカルモデル推定手法を開発できるか？
• RQ2 各変数をその適切な定義域上でモデル化することは、ガウス近似法と比較して推定されるグラフ構造にどのような影響を与えるか？
• RQ3 本手法のエッジ回復性能および構造推定の正確性は、多様なシミュレーション条件下でどの程度の水準にあるか？
• RQ4 実世界のデータにおいて、非パラノルマル法、コプーラベース法、ランクベース法などの既存手法と比較して、本手法はどのように性能を発揮するか？
• RQ5 混合グラフィカルモデルの使用が、自閉症スペクトラム障害（ASD）研究を含む複雑なシステムの理解にどのような意味を持つのか？

主な発見

• 本手法は、特に混合変数タイプを有する高次元設定下で、既存手法よりも高いエッジ回復率を達成した。
• ガウス近似法（密度 = 0.13）と比較して、本手法はより密度の高いグラフ（密度 = 0.19）を検出しており、より複雑な条件付き独立構造を示している。
• ASDデータセットにおいて、『社会的統合』が中心性（近接性、次数、媒介性）が高く、ネットワーク内での重要なノードであることが明らかになった。
• 混合モデルは、『住居の種別』と『診断に関するオープンネス』の間のエッジを同定したが、ガウス近似法では同様のエッジは検出されず、変数変換に起因する手法的バイアスを浮き彫りにした。
• 低サンプル設定下では、交差検証のためのノイズ追加に起因し、本手法は保守的であったが、これは耐性性を示しているが、極端な状況下では潜在的に過小評価となる可能性がある。
• Rパッケージmgmは、本手法を効果的に実装しており、応用研究における広範な利用と再現可能性を可能にした。