[論文レビュー] The huge Package for High-dimensional Undirected Graph Estimation in R

Tuo Zhao, Han Liu+3 more|PubMed|Jun 26, 2020

Statistical Methods and Inference参考文献 23被引用数 485

ひとこと要約

この論文は、スケーラブルな高次元の無向グラフ推定のための巨大な R パッケージ huge を紹介し、複数の方法（MBとglasso）を半パラメトリックおよびスクリーニングオプションとともに実装し、glasso との性能を比較している。

ABSTRACT

We describe an R package named huge which provides easy-to-use functions for estimating high dimensional undirected graphs from data. This package implements recent results in the literature, including Friedman et al. (2007), Liu et al. (2009, 2012) and Liu et al. (2010). Compared with the existing graph estimation package glasso, the huge package provides extra features: (1) instead of using Fortan, it is written in C, which makes the code more portable and easier to modify; (2) besides fitting Gaussian graphical models, it also provides functions for fitting high dimensional semiparametric Gaussian copula models; (3) more functions like data-dependent model selection, data generation and graph visualization; (4) a minor convergence problem of the graphical lasso algorithm is corrected; (5) the package allows the user to apply both lossless and lossy screening rules to scale up large-scale problems, making a tradeoff between computational and statistical efficiency.

研究の動機と目的

• データから高次元の無向グラフを推定するための R パッケージを提供する。
• スケーラビリティ向上のための複数の推定手法（MBとグラフィカルラッソ）を統合する。
• 半パラメトリック Gaussian Copula モデリングとデータ駆動のモデル選択をサポートする。
• データ生成、前処理、可視化、スクリーニングオプションを提供し、効率を改善する。

提案手法

• 移植性と効率性のために C で実装されたコアエンジン。
• MB 共分散選択と座標降下法と疎行列を用いたグラフィカルラッソ推定をサポートする。
• ノンパラノーマル変換を実装して半パラメトリック Gaussian Copula グラフを推定。
• ロスレスおよびロスリーの相関スクリーニングを組み込み、推定前の次元削減を実現。
• StARS、RIC、および拡張 BIC（グラフィカルラッソ用）によるモデル選択を提供。
• igraph ベースのプロットによるグラフ可視化を含む。

実験結果

リサーチクエスチョン

• RQ1 R で MB とグラフィカルラッソアプローチを用いて高次元の無向グラフをデータから効率的に推定するにはどうすればよいか？
• RQ2 グラフ推定の前にスクリーニング（ロスレスおよびロスィー）を統合することによる速度と精度の利点は何か？
• RQ3 高次元で非パラノーマル変換がどのように半パラメトリック Gaussian Copula グラフ推定を可能にするか？
• RQ4 異なるモデル選択基準（StARS、RIC、EBIC）は huge の正則化パラメータ選択に対してどのように機能するか？

主な発見

• Huge は MB ベースの推定で glasso より高速で、特に lossy screening を用いた場合は最大約500%のスピードアップが見られる。
• Lossy screening reduces per-variable lasso problems from d to n, improving efficiency when d >> n.
• Graphical lasso estimation with huge also benefits from lossless and lossy screening, yielding significant speedups over glasso.
• The package provides additional methods (e.g., correlation thresholding) and a comprehensive framework (data generation, preprocessing, visualization).
• Experiments show varied runtimes across d and n, highlighting scalability advantages of huge under high-dimensional regimes.