[論文レビュー] A Comparison of Public Causal Search Packages on Linear, Gaussian Data with No Latent Variables

Joseph Ramsey, Bryan Andrews|arXiv (Cornell University)|Sep 13, 2017

Bayesian Modeling and Causal Inference参考文献 9被引用数 7

ひとこと要約

本稿は、潜在変数のない線形・ガウス型・非巡回的グラフィカルモデルを用い、Tetrad（Java）、BNT（Matlab）、pcalg（R）、bnlearn（R）の5つの公開因果発見パッケージをベンチマークした。100～1000の標本サイズ、50～500の変数数、2～6のグラフ密度を想定した270件のデータセットを用い、構造の正確性（隣接関係と向きの精度）および実行時間を評価した。Tetradは、特に高次元設定において、他のパッケージを常に上回る構造回復性能を示した。一方、bnlearnとpcalgは中程度の設定で優れた性能を発揮した。BNTは著しく遅く、性能に劣ることが判明した。

ABSTRACT

We compare Tetrad (Java) algorithms to the other public software packages BNT (Bayes Net Toolbox, Matlab), pcalg (R), bnlearn (R) on the \vanilla" task of recovering DAG structure to the extent possible from data generated recursively from linear, Gaussian structure equation models (SEMs) with no latent variables, for random graphs, with no additional knowledge of variable order or adjacency structure, and without additional specification of intervention information. Each one of the above packages offers at least one implementation suitable to this purpose. We compare them on adjacency and orientation accuracy as well as time performance, for fixed datasets. We vary the number of variables, the number of samples, and the density of graph, for a total of 27 combinations, averaging all statistics over 10 runs, for a total of 270 datasets. All runs are carried out on the same machine and on their native platforms. An interactive visualization tool is provided for the reader who wishes to know more than can be documented explicitly in this report.

研究の動機と目的

• 標準的で現実的なベンチマークタスク上で、広く使われている公開因果探索パッケージを直接比較すること。
• 同じ条件下で、隣接関係と向きの正確性、実行時間を評価すること。
• 将来のアルゴリズム開発およびツール選定のためのベースラインを確立すること。
• 表形式の要約を超えた詳細な結果を探索可能なインタラクティブ可視化ツールを提供すること。

提案手法

• 潜在変数のない線形ガウス構造方程式モデルから270件のデータセットをシミュレートし、標本サイズ（100, 500, 1000）、変数数（50, 100, 500）、平均グラフ次数（2, 4, 6）を変化させた。
• 順序付き前向きのエッジ追加法によるランダムなDAG生成と、(0.2, 0.9)の一様分布から抽出された係数、および(1, 3)から抽出された誤差分散を用いた。
• 各アルゴリズムをそのネイティブプラットフォーム（Java, Matlab, R）で、同じマシンとデータセット上で実行し、公平な比較を実現した。
• 性能指標として、隣接関係適合度（AP）、再現度（AR）、F1スコア（AHP）、向きのF1スコア（AHR）、マークフ・ブラケット隣接度（McAdj）、マークフ・ブラケット矢印正確度（McArrow）、実行時間（E）を測定した。
• 各設定について10回の独立実行の平均をとり、インタラクティブ可視化用の包括的データセットを構築した。
• 静的テーブルを超えた結果の探索を可能にする、ウェブベースのインタラクティブツールを活用した。ユーザーはパrameterの組み合わせごとにアルゴリズムを比較可能である。

実験結果

リサーチクエスチョン

• RQ1 Tetrad、BNT、pcalg、bnlearnは、標本サイズやグラフサイズの変化に応じて、隣接関係と向きの正確性でどのように異なるか？
• RQ2 500変数の高次元設定において、どのパッケージが構造回復正確度（F1スコア）を最も高めたか？
• RQ3 各パッケージの相対的な実行時間性能は？ また、標本サイズやグラフ複雑度の増加に伴い、どのようにスケーリングされるか？
• RQ4 複数回の実行において結果はどれほど一貫性があるか？ また、どのアルゴリズムが最も安定した性能を示したか？
• RQ5 「バニラ」な因果発見タスク（線形・ガウス型・潜在変数なし・干渉データなし）において、どのアルゴリズムが最も優れた性能を発揮したか？

主な発見

• Tetrad（Java）は、全設定で平均隣接関係F1（AHP）0.97、向きのF1（AHR）0.92を達成し、特に変数数が500に達する高次元設定で顕著に優れた性能を示した。
• bnlearn（R）は、500変数・1000サンプルの設定で平均McAdj 0.97、McArrow 0.87を達成し、高次元設定において他の多くを上回った。
• pcalg（R）は、500変数・1000サンプルの設定で高い隣接関係適合度（AP）0.99と再現度（AR）0.97を達成したが、Tetrad（平均33.51秒）に比べて遅め（平均39.69秒）であった。
• BNT（Matlab）は他のパッケージに比べて著しく遅く、500変数・1000サンプルの設定で平均実行時間71.41秒を記録した。一部の設定では正確性も低く、AP: 0.86、AR: 0.99であった。
• Tetradは、向きの正確性（AHR）およびMcArrowにおいても一貫して他を上回り、500変数・1000サンプルの設定で0.89を達成した。これは矢印の向き回復性能が優れていることを示している。
• インタラクティブ可視化ツールの分析から、Tetradとbnlearnは全パrameterの組み合わせで高い正確性を維持している一方、BNTとpcalgは特に高次元・低標本の領域でばらつきが目立った。