[論文レビュー] Large-Scale Optimization Algorithms for Sparse Conditional Gaussian Graphical Models

Calvin McCarter, Se Young Kim|arXiv (Cornell University)|Sep 15, 2015

Bayesian Modeling and Causal Inference被引用数 13

ひとこと要約

本稿では、大規模なスパースな条件付きガウスグラフィカルモデル（CGGM）向けに、交互にニュートン座標降下法とそのブロック座標拡張を提案する。この手法により、計算時間とメモリ使用量が顕著に削減され、1台のマシンで数百万変数および数十億パラメータの問題にスケーリング可能となり、従来手法のメモリおよび速度制限を克服する。

ABSTRACT

This paper addresses the problem of scalable optimization for L1-regularized conditional Gaussian graphical models. Conditional Gaussian graphical models generalize the well-known Gaussian graphical models to conditional distributions to model the output network influenced by conditioning input variables. While highly scalable optimization methods exist for sparse Gaussian graphical model estimation, state-of-the-art methods for conditional Gaussian graphical models are not efficient enough and more importantly, fail due to memory constraints for very large problems. In this paper, we propose a new optimization procedure based on a Newton method that efficiently iterates over two sub-problems, leading to drastic improvement in computation time compared to the previous methods. We then extend our method to scale to large problems under memory constraints, using block coordinate descent to limit memory usage while achieving fast convergence. Using synthetic and genomic data, we show that our methods can solve one million dimensional problems to high accuracy in a little over a day on a single machine.

研究の動機と目的

• 大規模なスパースな条件付きガウスグラフィカルモデル（CGGM）のためのスケーラブルでメモリ効率の良い最適化手法の不足を解消すること。
• 従来のニュートン座標降下法が、大きな密行列を保持する必要があるため、高い計算コストとメモリオーバーヘッドを抱える問題を克服すること。
• 限られたメモリを備えた1台のマシン上で、数百万変数および数十億パラメータを持つCGGMの効率的推定を可能にすること。
• 遺伝学、エネルギー予測、ファイナンスなどの実世界の応用分野における収束速度とスケーラビリティを向上させること。

提案手法

• 出力ネットワークの精度行列（Θ）と入力から出力へのマッピングパラメータ（Λ）を交互に最適化する、交互にニュートン座標降下法を提案。これによりヘシアン行列の計算サイズを (p+q)×(p+q) ではなく q×q に削減する。
• 2次近似を出力ネットワークパラメータ（Θ）にのみ適用し、Λは単純な座標降下法で更新することで、1反復あたりのコストを著しく削減する。
• パラメータをブロックに分割し、各ブロック内で中間計算を再利用することで、メモリ使用量を制限するブロックワイズのパラメータ更新を導入する。
• ブロック座標降下法をΘとΛの両方に拡張し、ブロックスパarsityを活用して、必要に応じて大きな行列を再計算しなくてよいようにする。
• マルチコアシステム上で並列化を実装し、収束を加速する。16コアで最大12倍の高速化を達成する。
• 各反復でラインサーチを用いてステップサイズを選択し、目的関数の十分な減少を保証する。

実験結果

リサーチクエスチョン

• RQ1 CGGM推定において、ΘとΛの交互最適化は、パラメータを同時に更新する手法と比較して計算時間を短縮できるか？
• RQ2 ブロックワイズの座標降下法は、メモリに収まらないほど大きな問題のCGGM学習を可能にするか？
• RQ3 合成データおよび実世界のゲノムデータセットにおいて、本手法の計算時間とメモリ使用量のスケーリング特性はいかほどか？
• RQ4 既存の最先端手法と比較して、最適なスパarsityパターンへの収束がより速いか？

主な発見

• 遺伝子多型34,249個と遺伝子発現量3,268個のゲノムデータセットにおいて、交互にニュートン座標降下法により計算時間を22.0時間から0.51時間に短縮した。
• SNPが34,249個、遺伝子が10,256個のより大きなデータセットでは、従来のニュートン座標降下法はメモリ不足で実行不能であったが、本手法の交互にニュートンブロック座標降下法は2.3時間で完了した。
• 入力442,440個、出力3,268個の合成データセットでは、本手法が11時間で完了したのに対し、従来手法はメモリ制限のため失敗した。
• 交互にニュートンブロック座標降下法は100万入力の問題にスケーリング可能であったが、ブロック化を行わないバージョンはp > 100,000でメモリ不足となった。
• 28GB RAMのマシンで16コアを用いた場合、本手法は最大12倍の高速化を達成し、並列処理の効率性が顕著に示された。
• すべての手法がグローバル最適解に収束したが、本手法はベースラインと比較して最適なスパarsityパターンの回復がはるかに速かった。