[論文レビュー] Comparative Benchmarking of Causal Discovery Techniques

Karamjit Singh, Garima Gupta+2 more|arXiv (Cornell University)|Aug 18, 2017

Bayesian Modeling and Causal Inference参考文献 31被引用数 10

ひとこと要約

本稿では、構造的正確性、予測的正確性、対 counterfactual 推論の正確性という3つのパフォーマンス次元にわたって、因果発見アルゴリズムの包括的ベンチマークを提示する。実データおよびシミュレートされたデータセット（さまざまなサイズ）を用いて、構造的正確性が一貫して推論性能を予測しないこと、およびPCアルゴリズムが特に大規模な線形・ガウス型データセットにおいて他のアルゴリズムを上回ることを明らかにした。一方、GESは構造学習が劣っているものの、予測的正確性に優れている。

ABSTRACT

In this paper we present a comprehensive view of prominent causal discovery algorithms, categorized into two main categories (1) assuming acyclic and no latent variables, and (2) allowing both cycles and latent variables, along with experimental results comparing them from three perspectives: (a) structural accuracy, (b) standard predictive accuracy, and (c) accuracy of counterfactual inference. For (b) and (c) we train causal Bayesian networks with structures as predicted by each causal discovery technique to carry out counterfactual or standard predictive inference. We compare causal algorithms on two pub- licly available and one simulated datasets having different sample sizes: small, medium and large. Experiments show that structural accuracy of a technique does not necessarily correlate with higher accuracy of inferencing tasks. Fur- ther, surveyed structure learning algorithms do not perform well in terms of structural accuracy in case of datasets having large number of variables.

研究の動機と目的

• 複数のパフォーマンス指標にわたって最先端の因果発見アルゴリズムを評価・比較すること。
• 構造的正確性と推論性能（予測および対 counterfactual）との関係を調査すること。
• データタイプ（観察、干渉、アクティブラーニング）およびデータセットサイズがアルゴリズムのパフォーマンスに与える影響を評価すること。
• 特に高次元設定下で、どのアルゴリズムが最も効果的であるかを特定すること。
• 大規模なネットワークに対して因果構造を学習する際の、既存手法の限界を評価すること。

提案手法

• 因果発見アルゴリズムを2つの主要なグループに分類する：非循環／潜在変数なし、および循環／潜在変数を許容する手法。
• さらに3つのサブカテゴリに分類する：観察のみ、観察＋干渉、およびアクティブラーニング。
• 小・中・大規模なサンプルサイズをカバーする2つの実データセットと1つのシミュレートデータセットを用いて、アルゴリズムを適用する。
• 3つの指標を用いてパフォーマンスを評価する：構造的ハミング距離（SHD）、構造的インタビュー距離（SID）、Fスコア、AUC、および正規化平均二乗誤差（NRMSE）。
• 学習された構造を用いて因果ベイジアンネットワークを訓練し、予測および対 counterfactual 推論の正確性を評価する。
• すべての指標において同一条件で比較可能な統一された実験フレームワークを用いる。

実験結果

リサーチクエスチョン

• RQ1 因果発見における高い構造的正確性は、より良い予測的または対 counterfactual 推論性能をもたらすのか？
• RQ2 観察のみ、干渉支援、アクティブラーニングの各アルゴリズムは、さまざまなデータセットサイズにおいて推論正確性の観点でどのように比較されるか？
• RQ3 大規模かつ高次元なデータセットにおいて、構造的正確性、予測的正確性、対 counterfactual 正確性の観点で、どのアルゴリズムが最も優れているか？
• RQ4 既存の因果発見手法が、多くの変数を含むデータセットに適用された際に、どの程度失敗するのか？
• RQ5 データ生成モデルの本質（例：線形・ガウス型）がアルゴリズムのパフォーマンスに与える影響はどの程度か？

主な発見

• PCアルゴリズムは、大規模な線形・ガウス型データセットにおいて、すべてのパフォーマンス指標で他のアルゴリズムを上回り、特に構造的および推論正確性で顕著な優位性を示した。
• 小規模データセットでは、アクティブラーニングベースのアルゴリズムがAUCおよびFスコアで最高を記録したが、MMHCおよびPCはSHDおよびSIDで優れた成績を上げた。
• GESは過学習のため構造的正確性が低かったが、予測的正確性は最高であり、構造と推論品質の間に乖離が生じていることを示している。
• 観察および干渉データを併用するアルゴリズム（例：GIES）は、観察データのみを用いるアルゴリズム（例：GES）よりも優れており、特に中規模および大規模データセットで顕著であった。
• 高次元変数を含むデータセットでは、最先端のアルゴリズムでさえ因果構造を的確に捉えることができず、現在の手法における主要な限界を示している。
• 構造的正確性は推論性能の予測因子として信頼できない：SHD/SIDが低いアルゴリズムでも、予測および対 counterfactual 正確性が高くなることがある。