[論文レビュー] High-Dimensional Joint Estimation of Multiple Directed Gaussian Graphical Models

Yuhao Wang, Santiago Segarra+1 more|arXiv (Cornell University)|Apr 3, 2018

Statistical Methods and Inference参考文献 42被引用数 7

ひとこと要約

本稿では、関連するデータセット間の共有構造（例：組織間の遺伝子発現）を活用して、複数の高次元逐次的ガウスグラフィカルモデルを一括で推定するフレームワークを提案する。ℓ₀正則化最尤推定を用い、個別推定と比較して収束速度が速くなることを理論的に示し、一貫性の保証も得られる。実用的な実装として、グリーディ同等性探索（GES）とラasso選択を組み合わせたjointGESを提案する。

ABSTRACT

We consider the problem of jointly estimating multiple related directed acyclic graph (DAG) models based on high-dimensional data from each graph. This problem is motivated by the task of learning gene regulatory networks based on gene expression data from different tissues, developmental stages or disease states. We prove that under certain regularity conditions, the proposed $\ell_0$-penalized maximum likelihood estimator converges in Frobenius norm to the adjacency matrices consistent with the data-generating distributions and has the correct sparsity. In particular, we show that this joint estimation procedure leads to a faster convergence rate than estimating each DAG model separately. As a corollary, we also obtain high-dimensional consistency results for causal inference from a mix of observational and interventional data. For practical purposes, we propose \emph{jointGES} consisting of Greedy Equivalence Search (GES) to estimate the union of all DAG models followed by variable selection using lasso to obtain the different DAGs, and we analyze its consistency guarantees. The proposed method is illustrated through an analysis of simulated data as well as epithelial ovarian cancer gene expression data.

研究の動機と目的

• 高次元データ（例：組織間の遺伝子発現）から関連する複数の有向非巡回グラフ（DAG）モデルを推定する課題に対処すること。
• 個別に推定するのではなく、関連するDAGモデル間の共有構造的特徴を活用することで、推定精度と収束速度を向上させること。
• 高次元漸近的条件下での連合推定の理論的一貫性を保証すること。収束性（フロベニウスノルム）と正しいスパース構造回復の両方を含む。
• ノックアウト実験などの干渉的データを含めるために、フレームワークを拡張し、干渉的BICスコアリングが本提案の連合ℓ₀正則化最尤推定法の特殊ケースであることを示すこと。
• スケーラブルな推定を可能にする実用的アルゴリズム、jointGESを構築すること。これはグリーディ同等性探索（GES）とラassoベースの変数選択を組み合わせた二段階アルゴリズムである。

提案手法

• 関連するデータセット間で構造的事前分布を共有することで、複数のDAGモデルを同時に推定する連合ℓ₀正則化最尤推定量（MLE）を提案する。
• K個の関連するデータセットの尤度項を組み合わせ、エッジ集合へのℓ₀正則化を導入することで、スパarsityと共有構造を促進する重み付き目的関数を導入する。
• グリーディ同等性探索（GES）で全DAG構造の和集合を最初に推定し、その後各データセットに対してラasso回帰を適用して個々のDAGを特定する二段階アルゴリズム、jointGESを開発する。
• 正則性条件（有界固有値、スパarsity制約など）の下で理論的一致性を導出し、真の隣接行列へのフロベニウスノルム収束を保証する。
• 推定誤差をバウンディングするための確率的イベント分解（ℰ₁, ℰ₂, ℰ₃）を用い、集中不等式と高次元確率論のツールに依存して一貫性を証明する。
• 置換不変制約を用いた変換を連合推定量に適用し、推定量が高確率で正しいグラフ構造を回復するための条件を導出する。

実験結果

リサーチクエスチョン

• RQ1 高次元設定下で、関連する複数DAGモデルの連合推定は、個別推定と比較してより速い収束速度を達成できるか？
• RQ2 連合ℓ₀正則化最尤推定が、真の隣接行列とエッジ集合を理論的に一貫して回復するための条件は何か？
• RQ3 関連するデータセット（例：異なる組織や疾患状態）間の共有構造的情報を、推定精度の向上にどう活用できるか？
• RQ4 ノックアウト実験などの干渉的データを含めるために、連合推定フレームワークを拡張可能か？また、既存の干渉的スコアリング基準とどのように関係するか？
• RQ5 高次元DAG推定において、複数の関連するモデルに対して一貫性とスケーラビリティを確保する実用的アルゴリズム的手法は何か？

主な発見

• 連合ℓ₀正則化最尤推定は、個別推定と比較してより速い漸近的収束速度を達成し、関連するデータセット数が増えるほど性能が向上する。
• 有界固有値とスパarsityを含む正則性条件の下で、連合推定量は高確率で真の隣接行列へのフロベニウスノルム収束を示す。
• 本手法は真のDAGのスパース構造を正しく回復し、適切なペナルティパラメータのチューニングのもとで、推定エッジ集合が真のエッジ集合と一致する高確率で回復される。
• jointGESアルゴリズムは、まずGESで全DAGの和集合を特定し、その後各データセットに対してラasso回帰を適用することで一貫した推定を実現する。
• 先行研究における干渉的BICスコアリング関数が、本提案の連合ℓ₀正則化最尤推定フレームワークの特殊ケースであることが示され、理論的根拠の妥当性が裏付けられた。
• シミュレーテッドデータおよび卵巣がんの遺伝子発現データを用いた実験的評価により、個別推定と比較して推定精度と頑健性が向上することが確認された。