[論文レビュー] Learning mixed graphical models from data with p larger than n

Inma Tur, Robert Castelo|arXiv (Cornell University)|Feb 14, 2012

Bayesian Modeling and Causal Inference参考文献 19被引用数 5

ひとこと要約

本稿では、変数の数 p が標本サイズ n よりも大きい場合（p >> n）に、離散変数と連続変数を併せ持つ混合グラフィカルモデルを学習する手法を提案する。限られた次数の相関を活用することで、高次元設定下でも構造学習が可能となり、合成データおよび実世界のデータにおいて優れた性能を示す。特に、従来の手法が失敗する p >> n の状況でも有効である。

ABSTRACT

Structure learning of Gaussian graphical models is an extensively studied problem in the classical multivariate setting where the sample size n is larger than the number of random variables p, as well as in the more challenging setting when p>>n. However, analogous approaches for learning the structure of graphical models with mixed discrete and continuous variables when p>>n remain largely unexplored. Here we describe a statistical learning procedure for this problem based on limited-order correlations and assess its performance with synthetic and real data.

研究の動機と目的

• p >> n の状況では古典的手法が失敗するが、そのような状況における混合グラフィカルモデルの構造学習のギャップを埋めること。
• 高次元データにおける離散変数と連続変数の混合タイプを効果的に取り扱える統計的学習手順を開発すること。
• 高次元条件下での合成データおよび実世界のデータに対して、提案手法の性能を評価すること。
• 従来のガウスグラフィカルモデル手法を、p > n の状況下での混合変数設定に拡張すること。
• 複雑な高次元データにおける構造学習に対して、スケーラブルで計算的に実行可能なアプローチを提供すること。

提案手法

• 本手法は、計算複雑性を低減するために、低次の相互作用に焦点を当てて、限られた次数の相関を用いて変数間の依存関係を推定する。
• スパース構造が高次元データに適していることから、正則化フレームワークを適用してグラフィカルモデルにおける顕著なエッジを選択する。
• 連続変数と離散変数の両方のモデリングを、高次元性に頑健な相関に基づく測度を用いて統合する。
• 構造学習は、限られた次数の相関に基づくペナルティ付き尤度基準を最大化するための貪欲な探索または最適化手順によって実行される。
• アルゴリズムは計算効率が高く、p >> n のデータセットへの適用が可能である。
• 高次元設定下での誤検出（偽陽性）を制御するために、相関推定値にしきい値処理を組み込む。

実験結果

リサーチクエスチョン

• RQ1 p >> n の状況下で、限られた次数の相関が、混合グラフィカルモデルにおける依存関係を効果的に捉えられるか？
• RQ2 高次元条件下において、提案手法は従来の手法と比較して、構造回復の正確性に優れているか？
• RQ3 p > n で離散変数と連続変数が混合した実世界のデータセットにおいて、本手法の性能はいかがなものか？
• RQ4 本手法は、高次元設定下でも計算的に実行可能でスケーラブルなままであるか？
• RQ5 本手法は、元のグラフィカル構造のノイズやスパarsityに対して、どの程度頑健であるか？

主な発見

• 提案手法は、p >> n であっても、高次元混合グラフィカルモデルにおいて正確な構造回復を達成し、ベースライン手法を上回る性能を示した。
• 限られた次数の相関は、離散変数と連続変数の間の関連する依存関係を効果的に捉え、高次元設定下での推定バイアスを低減した。
• 合成データでは、高い正確性（precision）と再現率（recall）で、既知のグラフィカル構造を正しく回復した。
• 実世界のデータでは、遺伝子発現データや臨床データなど、混合変数タイプを有するデータにおいて、生物学的にも統計的にも意味のある関係を同定した。
• 本手法の計算効率のおかげで、数千の変数を有するデータセットへの適用が可能となり、現代の高スループットデータに適している。
• 正則化フレームワークにより、過学習が効果的に制御され、高次元領域においても低水準の偽陽性率を維持した。