[論文レビュー] Network inference in matrix-variate Gaussian models with non-independent noise

Andrew Dahl, Victoria Hore+2 more|arXiv (Cornell University)|Dec 5, 2013

Bioinformatics and Genomic Networks参考文献 10被引用数 5

ひとこと要約

本稿では、非i.i.d.ノイズを伴う行列変量正規モデルにおけるネットワーク推定のための計算的に効率的なEMアルゴリズムを提案する。KronGlasso手法を一般化されたノイズ構造を扱えるように拡張したものであり、既知の$ R $を用いた遺伝的相関のモデル化と、学習可能な$ D $を用いた非独立ノイズのモデル化により、i.i.d.ノイズ仮定に比べてネットワーク再構築の精度が著しく向上する。特にノイズが構造的である場合（Wishart分布やAR(1)など現実的なノイズ行列を用いたシミュレーションで示されたように）、その効果が顕著である。

ABSTRACT

Inferring a graphical model or network from observational data from a large number of variables is a well studied problem in machine learning and computational statistics. In this paper we consider a version of this problem that is relevant to the analysis of multiple phenotypes collected in genetic studies. In such datasets we expect correlations between phenotypes and between individuals. We model observations as a sum of two matrix normal variates such that the joint covariance function is a sum of Kronecker products. This model, which generalizes the Graphical Lasso, assumes observations are correlated due to known genetic relationships and corrupted with non-independent noise. We have developed a computationally efficient EM algorithm to fit this model. On simulated datasets we illustrate substantially improved performance in network reconstruction by allowing for a general noise distribution.

研究の動機と目的

• 多フェノタイプ遺伝データにおける独立同一分布（i.i.d.）ノイズを仮定する既存手法の制限を解消すること。
• 行列変量モデルにおける遺伝的ネットワーク（スパース精度行列$ C $）とノイズ構造（精度行列$ D $）を同時に推定する完全なEMアルゴリズムを開発すること。
• 共変要因や測定依存性によって生じる現実の遺伝データに一般的な非i.i.d.ノイズをモデル化することで、ネットワーク再構築の精度を向上させること。
• クリーネッカー積構造と線形代数の最適化を活用して、高次元設定における効率的な推定を可能とすること。

提案手法

• 観測データ行列$ Y $を、2つの行列変量正規分布成分の和としてモデル化する：$ Z \thicksim \text{MN}(0, R^{-1}, C^{-1}) $ および $ \boldsymbol{\rho} \thicksim \text{MN}(0, I, D^{-1}) $、ここで$ R $は既知であり、$ C $はスパースであると仮定する。
• Eステップでは$ Z $の条件付き期待値を計算し、Mステップでは$ C $と$ D $に関して期待対数尤度を最大化する完全なEMアルゴリズムを構築する。一般の凸正則化項を用いる。
• Eステップの計算を、$ O(NP^2 + P^3) $の複雑度で効率的に行い、中程度の$ N $と$ P $のスケールに対してもスケーラブルであるようにする。
• グラフィカルラasso（L1正則化）を用いて$ C $の$ \boldsymbol{\rho} $-正則化推定を実施し、必要に応じて$ \boldsymbol{\rho} $-正則化を用いて$ D $のスパース性を拡張する。
• BICや予測尤度といったモデル選択基準を用いて、i.i.d.ノイズモデルと非i.i.d.ノイズモデルの間で選択を行う。
• 低ランク＋スパース分解の$ C $を扱えるようにアルゴリズムを拡張し、交絡要因（低ランク）と因果的構造（スパース）の両方をモデル化可能にする。

実験結果

リサーチクエスチョン

• RQ1 行列変量正規モデルにおいて非i.i.d.ノイズをモデル化することで、i.i.d.ノイズ仮定に比べて顕著にネットワーク再構築性能が向上するか？
• RQ2 Wishart分布やAR(1)といった現実的なノイズ構造下で、G3MアルゴリズムはGlasso や KronGlasso といった既存手法に比べてどのように性能を発揮するか？
• RQ3 一般化されたノイズ精度行列$ D $を許容することで、推定された遺伝的ネットワークにおける誤検出エッジの数はどの程度低減されるか？
• RQ4 EMフレームワークを$ R $、$ C $、$ D $を同時に学習できるように拡張可能か？その際の計算的・統計的トレードオフは何か？

主な発見

• ノイズが非i.i.i.d.である場合、提案手法G3MはKronGlasso や Glasso よりも著しく優れたネットワーク再構築性能を達成する。特にWishart分布やAR(1)といった構造的ノイズの下で顕著である。
• Wishart分布ノイズと1%のスパース$ C $を想定したシミュレーションでは、G3Mは誤検出の数が著しく少ない状態で真のエッジの大部分を回復するが、Glasso や KronGlasso は誤検出を多く含む。
• G3MのROC曲線は、すべてのパワー水準で優れた性能を示し、非i.i.i.d.ノイズ下ではAUCがベースライン手法よりも顕著に高い。
• 実際に$ D $がスパースである場合、$ D $に$ \boldsymbol{\rho} $-正則化を導入することで、密度$ D $の場合に見られる部分的な非最適性の多くが回復される。
• アルゴリズムのEステップの計算複雑度は$ O(NP^2 + P^3) $であり、$ N $と$ P $が数百程度の中規模遺伝データセットに対しても実行可能である。
• BICや予測尤度を用いたモデル選択により、非i.i.i.d.ノイズモデルの必要性を信頼性高く同定でき、実用的な場面でより柔軟なモデルの使用を支援する。