[論文レビュー] Structure Learning of Gaussian Markov Random Fields with False Discovery Rate Control

Sangkyun Lee, Piotr Sobczyk+1 more|arXiv (Cornell University)|Oct 24, 2019

Bayesian Modeling and Causal Inference参考文献 34被引用数 3

ひとこと要約

本稿では、スローペンのL1ノルム（SL1）正則化を用いて、エッジ検出における誤発見率（FDR）を制御する新しい手法nsSLOPEを提案する。SLOPEを近隣選択に適応させることで、真の条件付き依存関係を同定する統計的パワーを高めつつ、望みの水準でFDRを厳密に制御する。高次元設定（p ≫ n）において、従来のgLASSOに比べ、FDR制御と検出パワーの両面で優れた性能を発揮する。

ABSTRACT

In this paper, we propose a new estimation procedure for discovering the structure of Gaussian Markov random fields (MRFs) with false discovery rate (FDR) control, making use of the sorted l1-norm (SL1) regularization. A Gaussian MRF is an acyclic graph representing a multivariate Gaussian distribution, where nodes are random variables and edges represent the conditional dependence between the connected nodes. Since it is possible to learn the edge structure of Gaussian MRFs directly from data, Gaussian MRFs provide an excellent way to understand complex data by revealing the dependence structure among many inputs features, such as genes, sensors, users, documents, etc. In learning the graphical structure of Gaussian MRFs, it is desired to discover the actual edges of the underlying but unknown probabilistic graphical model-it becomes more complicated when the number of random variables (features) p increases, compared to the number of data points n. In particular, when p >> n, it is statistically unavoidable for any estimation procedure to include false edges. Therefore, there have been many trials to reduce the false detection of edges, in particular, using different types of regularization on the learning parameters. Our method makes use of the SL1 regularization, introduced recently for model selection in linear regression. We focus on the benefit of SL1 regularization that it can be used to control the FDR of detecting important random variables. Adapting SL1 for probabilistic graphical models, we show that SL1 can be used for the structure learning of Gaussian MRFs using our suggested procedure nsSLOPE (neighborhood selection Sorted L-One Penalized Estimation), controlling the FDR of detecting edges.

研究の動機と目的

• 高次元ガウス・マークフ・ランダムフィールド（GMRFs）においてp ≫ nである状況での誤検出エッジの問題に対処すること。
• より保守的な家族ワイズ誤差率（FWER）ではなく、誤発見率（FDR）を制御する構造学習手法を開発すること。
• 回帰問題に用いられるソートドL1ノルム（SL1）正則化をGMRFsに適応し、モデル選択性能を向上させること。
• FDRを制御し、検出パワーを高めたスパース精度行列推定の統計的根拠に基づく手法を提供すること。

提案手法

• スローペンのL1ノルム（SL1）正則化を用いて、GMRFsにおける構造学習に特化したnsSLOPE（近隣選択ソートドLワン正則化推定）を提案する。
• 線形回帰に元来用いられるSLOPE手順を、近隣回帰問題に適応させる。この際、ソートされたL1ペナルティを適用する。
• 目標とするFDR水準q = 0.05に基づき、Benjamini-Hochberg手順を用いてチューニングパラメータλiを設定する。
• 各ノードごとに一連の凸最適化問題を解き、負の対数尤度関数にSL1ペナルティを加える：min_β (1/2)‖y - Xβ‖² + ∑λi|β|(i)。
• 最終的な精度行列推定値の対称性を保つために、対称化処理を適用する。
• 対角成分の推定を改善するために、逆スケーリング補正を用いるが、これは今後の改善の余地がある。

実験結果

リサーチクエスチョン

• RQ1 SL1正則化は、ガウス・マークフ・ランダムフィールドにおける構造学習に効果的に適応可能か？
• RQ2 高次元設定において、nsSLOPEは従来のgLASSOに比べ、より優れたFDR制御と高い検出パワーを達成するか？
• RQ3 FWER制御と比較して、SLOPEによるFDR制御は、統計的パワーと誤発見率の正確性の面でどのように異なるか？
• RQ4 対称化と対角成分補正は、最終的な精度行列推定にどのような影響を与えるか？
• RQ5 真の条件付き依存関係構造の回復を向上させつつ、FDR制御を維持できるか？

主な発見

• すべての設定において、実証的FDRは名目水準0.05の周辺で安定して制御され、nsSLOPEはgLASSOに比べてきびしい制御を維持した。
• 特に高次元領域において、nsSLOPEはgLASSOに比べて顕著に高い統計的パワー（真の非ゼロエントリの検出割合）を達成した。
• ブロック対角構造およびハブ構造の共分散設定において、nsSLOPEはgLASSOよりも誤検出が少なく、真のグラフ構造を効果的に回復した。
• n = 100から400までのさまざまな標本サイズと固定されたp = 500の下で、安定したFDRと非対角成分の平均二乗誤差（MSE）の改善を示した。
• 最終推定値の対称化は行列の対称性を改善したが、FDRやパワーに顕著な影響はなく、nsSLOPEが中間段階の非対称性に対して頑健であることを示唆した。
• 対角成分の推定は改善の余地があり、特にSLOPE手順における正規化効果を補正するより正確な逆スケーリングが必要である。