[論文レビュー] Scaling up Greedy Causal Search for Continuous Variables

Joseph Ramsey|arXiv (Cornell University)|Jul 28, 2015

Bayesian Modeling and Causal Inference被引用数 14

ひとこと要約

本論文は、連続変数に対するグリーディ同等性探索（GES）アルゴリズムの最適化実装を提示し、スケーラブルな因果発見を高次元データで実現している。計算最適化を活用することで、ラップトップで50,000変数を13分で、スパコンで1,000,000変数を18時間で処理可能となり、GESの適用範囲を大規模データ問題へ大幅に拡張するとともに、正確性を維持している。

ABSTRACT

As standardly implemented in R or the Tetrad program, causal search algorithms used most widely or effectively by scientists have severe dimensionality constraints that make them inappropriate for big data problems without sacrificing accuracy. However, implementation improvements are possible. We explore optimizations for the Greedy Equivalence Search that allow search on 50,000-variable problems in 13 minutes for sparse models with 1000 samples on a four-processor, 16G laptop computer. We finish a problem with 1000 samples on 1,000,000 variables in 18 hours for sparse models on a supercomputer node at the Pittsburgh Supercomputing Center with 40 processors and 384 G RAM. The same algorithm can be applied to discrete data, with a slower discrete score, though the discrete implementation currently does not scale as well in our experiments; we have managed to scale up to about 10,000 variables in sparse models with 1000 samples.

研究の動機と目的

• R や Tetrad における標準的 GES 実装の重度な次元数制限を克服すること。
• 効率的な計算最適化を用いて連続変数におけるスケーラブルな因果発見を可能にすること。
• GES が高次元問題（最大100万変数）にまでスケーリング可能であり、正確性を損なわないことを実証すること。
• スパースモデルおよび実世界のデータサイズにおける最適化 GES の性能を評価すること。
• この最適化手法を離散データへ拡張する可能性を検討するが、スケーラビリティは低下するものとする。

提案手法

• 効率的なスコア計算およびデータ構造を用いて、連続変数向け GES アルゴリズムの最適化。
• 大規模問題における時間計算量の低減を目的とした並列処理およびメモリ効率の良いデータ処理の実装。
• 連続変数に対してガウス尤度スコアを用い、スコア評価の高速化を図る最適化された数値計算。
• 構造学習中に重複するスコア評価を回避するインクリメンタルサーチ戦略の適用。
• 40コア、384GB RAM を備えたノードを活用したハイパフォーマンスコンピューティングリソースを用いて、100万変数問題へのスケーリング。
• 計算負荷を軽減しながら構造的正確性を保持するため、スパースモデル向けにアルゴリズムを適応化。

実験結果

リサーチクエスチョン

• RQ1 グリーディ同等性探索（GES）アルゴリズムは、標準的ハードウェア上で50,000以上の変数を有するデータセットを処理できるか。
• RQ2 連続変数向け GES の実行時間を短縮するために、最も効果的な計算最適化は何か。
• RQ3 最適化 GES の性能は、大規模連続データと離散データの両者においてどのように比較されるか。
• RQ4 ハイパフォーマンスコンピューティングシステム上で100万変数にまでスケーリング可能であり、正確性を維持できるか。
• RQ5 大規模因果発見において、モデルのスパarsity と計算効率のトレードオフは何か。

主な発見

• 最適化 GES アルゴリズムは、4プロセッサ、16GB メモリのラップトップで、1,000サンプル、50,000変数の問題を13分で完了した。
• スパースモデルを用いて、40プロセッサ、384GB メモリのスパコンノードで1,000,000変数の問題を18時間で解消した。
• アルゴリズム的および実装的最適化により顕著な高速化を達成し、大規模データにおけるスケーラブルな因果発見を可能にした。
• 離散版のアルゴリズムはスケーリング効果が低く、1,000サンプルで約10,000変数までしか処理できなかった。
• 高次元データへのスケーリングを維持しながら正確性を保持するため、実世界の大規模データ応用に適している。
• これらの最適化は一般化可能であり、類似の性能向上を達成できる他のスコアベース因果発見アルゴリズムへも応用可能である。