[論文レビュー] A Fast and Scalable Joint Estimator for Learning Multiple Related Sparse Gaussian Graphical Models

Beilun Wang, Ji Gao+1 more|arXiv (Cornell University)|Feb 9, 2017

Gaussian Processes and Bayesian Inference参考文献 12被引用数 6

ひとこと要約

本稿では、基本推定器（EE）フレームワークを活用して、複数の関連するスパースガウス graphical モデル（sGGMs）を素早くスケーラブルに推定するための FASJEM を提案する。プロキシマル・アルゴリズムを用いたエントリ単位およびグループエントリ単位の最適化により、O(Kp²) の時間計算量と O(K) のメモリ使用量を達成し、計算効率とスケーラビリティにおいて従来手法を著しく上回る。理論的収束速度は O(log(Kp)/ntot) を維持する。

ABSTRACT

Estimating multiple sparse Gaussian Graphical Models (sGGMs) jointly for many related tasks (large $K$) under a high-dimensional (large $p$) situation is an important task. Most previous studies for the joint estimation of multiple sGGMs rely on penalized log-likelihood estimators that involve expensive and difficult non-smooth optimizations. We propose a novel approach, FASJEM for \underline{fa}st and \underline{s}calable \underline{j}oint structure-\underline{e}stimation of \underline{m}ultiple sGGMs at a large scale. As the first study of joint sGGM using the Elementary Estimator framework, our work has three major contributions: (1) We solve FASJEM through an entry-wise manner which is parallelizable. (2) We choose a proximal algorithm to optimize FASJEM. This improves the computational efficiency from $O(Kp^3)$ to $O(Kp^2)$ and reduces the memory requirement from $O(Kp^2)$ to $O(K)$. (3) We theoretically prove that FASJEM achieves a consistent estimation with a convergence rate of $O(\log(Kp)/n_{tot})$. On several synthetic and four real-world datasets, FASJEM shows significant improvements over baselines on accuracy, computational complexity, and memory costs.

研究の動機と目的

• 複数の関連するタスクにおける高次元 sGGM の共同推定における計算およびメモリのボトル neck を解決すること。
• タスク数 K および次元 p が大きい状況において、スケーラブルで効率的な複数の関連 sGGM の学習手法を開発すること。
• 従来のペナルティ付き尤度推定法と比較して、時間計算量を O(Kp³) から O(Kp²) に、メモリ使用量を O(Kp²) から O(K) に削減すること。
• O(log(Kp)/ntot) の収束速度を示す理論的一貫性を確立し、単一タスク学習と比較して共同推定の利点を示すこと。
• 合成データおよび実世界のバイオメディカルデータセットを用いた評価を通じて、精度、速度、メモリ効率の面で優れた性能を示すこと。

提案手法

• 複数 sGGM 用の新規共同推定器 FASJEM を、基本推定器（EE）フレームワークに基づいて提案する。
• エントリ単位およびグループエントリ単位のプロキシマル・アルゴリズムによる最適化により、並列処理が可能となり、時間計算量が O(Kp²) に削減される。
• 2 種類の変種を導入：FASJEM-G（グループ-2 範囲）と FASJEM-I（グループ無限大範囲）で、タスク間のネットワーク類似性を強制する。
• SVD や行列乗算の高コストな演算を回避するプロキシマル・アルゴリズムを採用し、メモリ使用量を O(K) に削減する。
• 理論的分析により、FASJEM が O(log(Kp)/ntot) の収束速度を達成することが証明され、単一タスク sGGM の速度 O(log p / n) よりも速い。
• 軟化しきり処理に基づく推定器と、適合性定数フレームワークを用いて推定誤差をバインドし、一貫性を保証する。

実験結果

リサーチクエスチョン

• RQ1 K（タスク数）と p（次元）が大きい状況でも、効率的にスケーラブルに拡張可能な共同 sGGM 推定器を設計できるか？
• RQ2 O(Kp³) から O(Kp²) にまで時間計算量を削減できるか、精度を損なわずに行えるか？
• RQ3 主記憶装置に共分散行列を完全に格納しないため、メモリ使用量を O(Kp²) から O(K) に削減できるか？
• RQ4 提案された FASJEM 法は、既存の共同推定器と比較して、より速い収束とより優れた推定一貫性を達成できるか？
• RQ5 実世界の高次元バイオロジカルデータセットにおいて、FASJEM は精度と計算効率の両面でベースラインを上回るか？

主な発見

• FASJEM は時間計算量を O(Kp³) から O(Kp²) に、メモリ使用量を O(Kp²) から O(K) に削減し、大規模な共同推定を可能にする。
• 理論的収束速度が O(log(Kp)/ntot) であることを示し、これは単一タスク sGGM の速度 O(log p / n) よりも速く、共同学習の利点を示している。
• ENCODE（K=147 個の細胞タイプを含む）を含む 4 つの実世界のバイオメディカルデータセットにおいて、FASJEM はベースラインを精度面で上回る。
• FASJEM-G と FASJEM-I は、それぞれ対応する JGL ベースラインを上回り、FASJEM-I が全体として最高の精度を達成した。
• 合成および実データセットを用いた実験により、p > 1000 の高次元設定および K が最大 147 に達する大規模な設定でも、FASJEM は効果的にスケーリングできることを示した。
• 実験結果により、FASJEM は従来のペナルティ付き尤度推定法と比較して、実行時間とメモリ使用量を著しく削減しながらも、高い精度を維持することが確認された。