[論文レビュー] Scaling up Greedy Equivalence Search for Continuous Variables.

Joseph Ramsey|arXiv (Cornell University)|Jul 28, 2015

Bayesian Modeling and Causal Inference参考文献 5被引用数 20

ひとこと要約

この論文は、連続的で線形ガウス分布のデータに対するグリーディ等価探索（GES）アルゴリズムの最適化実装を提示しており、高次元データセットにおけるスケーラブルな因果探索を可能にしている。計算上の最適化を活用することで、ラップトップで50,000変数を13分で処理可能であり、スーパーコンピュータで1,000,000変数を18時間で処理可能となり、標準的な実装に比べて大幅に高い次元数のGESの実行が可能になった。

ABSTRACT

As standardly implemented in R or in the Tetrad program, causal search algorithms that have been most widely or effectively used in scientific problems have severe dimensionality constraints. However, implementation improvements are possible that extend the feasible dimensionality of search problems by several orders of magnitude. We describe optimizations for the Greedy Equivalence Search (GES) that allow search on 50,000 variable problems in 13 minutes for sparse models with 1000 samples, on a 4 processor 8G laptop computer, and in 18 hours for sparse models with 1000 samples on 1,000,000 variables on a supercomputer node at the Pittsburgh Supercomputing Center with 40 processors and 384 G RAM, on data generated i.i.d. from a linear, Gaussian model.

研究の動機と目的

• R や Tetrad における標準的な GES 実装が示す深刻な次元数の制限を克服すること。
• 数千～数百万変数を有する大規模データセットにおけるスケーラブルな因果探索を可能にすること。
• 実行時間を著しく短縮しつつ統計的正確性を維持する計算最適化を開発すること。
• 現実的なサンプルサイズとスパース構造を想定した大規模問題における GES の実行可能性を示すこと。

提案手法

• スコア計算中の I/O とキャッシュミスを低減するための最適化されたメモリアクセスおよびデータ構造。
• 共有メモリ並列処理を用いて複数プロセッサ間でスコア評価を並列化。
• 各エッジの追加・削除後にスコアを再計算しなおすのを避けるための効率的なインクリメンタルスコア更新の実装。
• 高次元設定におけるストレージおよび計算コストを削減するためのスパース行列表現の活用。
• 線形ガウスモデルの条件付き独立構造を活用してスコア評価を単純化・高速化。
• 高性能コンピューティングクラスタ上で複数プロセッサにわたるタスクレベルの並列処理を適用。

実験結果

リサーチクエスチョン

• RQ1 標準のラップトップハードウェアを用いて、50,000変数のデータセットに対して GES をスケーリングできるか？
• RQ2 高性能コンピュータ上で1,000サンプルのデータに対して GES の最大でどの程度の次元数が実行可能か？
• RQ3 大規模問題において、最適化された GES は標準実装に比べてどの程度速くなるか？
• RQ4 スパースで高次元なモデルに適用した場合、アルゴリズムは正確性と安定性を維持できるか？

主な発見

• 4コア、8GBのラップトップで、1,000個の i.i.d. サンプルを用いて50,000変数の GES を13分で成功裏にスケーリング。
• 40コア、384GBのスーパーコンピュータノードで、1,000個のサンプルを用いて1,000,000変数の GES を18時間で実行。
• 標準的な GES 実装に比べて、問題サイズの実行可能範囲が数桁増加した。
• インクリメンタルスコア更新とスパース行列処理により、計算効率が維持された。