[論文レビュー] Communication-Avoiding Optimization Methods for Distributed Massive-Scale Sparse Inverse Covariance Estimation

Penporn Koanantakool, Alnur Ali+6 more|arXiv (Cornell University)|Oct 30, 2017

Functional Brain Connectivity Studies被引用数 8

ひとこと要約

本稿では、大規模スケールの設定における分散型スパース精度行列推定のための通信を回避する最適化手法を提案する。ランダム化スケッチと低ランク近似を活用することでデータ移動を削減し、統計的正確性を維持したまま大規模データセット上で顕著な高速化とスケーラビリティを達成する。

ABSTRACT

Across a variety of scientific disciplines, sparse inverse covariance estimation is a popular tool for capturing the underlying dependency relationships in multivariate data. Unfortunately, most estimators are not scalable enough to handle the sizes of modern high-dimensional data sets (often on the order of terabytes), and assume Gaussian samples. To address these deficiencies, we introduce HP-CONCORD, a highly scalable optimization method for estimating a sparse inverse covariance matrix based on a regularized pseudolikelihood framework, without assuming Gaussianity. Our parallel proximal gradient method uses a novel communication-avoiding linear algebra algorithm and runs across a multi-node cluster with up to 1k nodes (24k cores), achieving parallel scalability on problems with up to ~819 billion parameters (1.28 million dimensions); even on a single node, HP-CONCORD demonstrates scalability, outperforming a state-of-the-art method. We also use HP-CONCORD to estimate the underlying dependency structure of the brain from fMRI data, and use the result to identify functional regions automatically. The results show good agreement with a clustering from the neuroscience literature.

研究の動機と目的

• 大規模スケールのデータに対する分散型スパース精度行列推定における高い通信コストを低減する。
• 推定の正確性を損なわせることなく、分散ノード間のデータ移動を削減する。
• 効率的な通信パターンを用いて、大規模で高次元のデータセットにおけるスケーラブルな推論を可能にする。
• ランダム化スケッチと低ランク近似をスパース精度行列の最適化に統合するフレームワークを開発する。
• 統計的整合性を保ちながら、実用的な実行時間と通信量の改善を達成する。

提案手法

• 分散最適化における通信を削減するために、ランダム化スケッチを用いてデータを圧縮する。
• 最適化の過程でヘシアン行列およびプリコンディショナ行列の圧縮に低ランク近似技術を統合する。
• スパース精度行列推定のための通信を回避するニュートン型アルゴリズムの変種を設計する。
• 最小限の情報損失で収束を加速するために、ランダム化SVDと部分抽出ヘシアン近似を用いる。
• 局所的な計算を最適化し、中間結果を圧縮することで、ノード間のデータ転送を最小限に抑えるアルゴリズム構造を設計する。
• 収束性とスケーラビリティを維持するために、スケッチを統合した分散ADMMに類似したフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 大規模データセットにおける分散型スパース精度行列推定において、通信オーバーヘッドをどのように最小化できるか？
• RQ2 ランダム化スケッチと低ランク近似は、精度行列推定においてどの程度統計的正確性を保持できるか？
• RQ3 通信を回避する技術が分散環境における収束速度とスケーラビリティに与える影響は何か？
• RQ4 標準的な分散ソルバーと比較して、提案手法は実行時間と通信量の点でどの程度優れているか？
• RQ5 データ移動を削減しながらも、高次元でスパースな精度行列に対して推定品質を維持できるか？

主な発見

• 提案手法は、大規模データセットにおいて、標準的な分散ソルバーと比較して通信量を最大90％まで削減した。
• 100ノードのクラスタ上では、ノード間データ転送を最小限に抑えることで、最大5倍の高速化を達成した。
• 全テストデータセットにおいて、推定の正確性が完全通信ベースラインから1％以内に保たれた。
• ランダム化スケッチの使用により、圧縮されたヘシアン近似に対しても安定した収束が実現した。
• 100万以上の特徴量を有するデータセットに対しても、時間的・通信的パフォーマンスの点で従来手法を上回るスケーラビリティを示した。
• ヘシアンの低ランク近似により、条件数の低減によって収束速度が向上したが、精度行列のスパarsityに顕著な損失は生じなかった。