[論文レビュー] Evaluating Causal Models by Comparing Interventional Distributions

Dan Garant, David Jensen|arXiv (Cornell University)|Aug 16, 2016

Bayesian Modeling and Causal Inference参考文献 19被引用数 7

ひとこと要約

本稿では、因果モデルの評価を構造的類似性（例：SHD、SID）ではなく、合計変動（TV）距離を用いた介入分布の比較によって行うことを提案する。構造的指標はモデル品質の評価においてしばしば誤解を招くが、TV距離はパrametricな正確さをよりよく捉えており、特に複雑で現実的なデータ環境において、実世界の因果推論の目的とより整合性があることが示された。

ABSTRACT

The predominant method for evaluating the quality of causal models is to measure the graphical accuracy of the learned model structure. We present an alternative method for evaluating causal models that directly measures the accuracy of estimated interventional distributions. We contrast such distributional measures with structural measures, such as structural Hamming distance and structural intervention distance, showing that structural measures often correspond poorly to the accuracy of estimated interventional distributions. We use a number of real and synthetic datasets to illustrate various scenarios in which structural measures provide misleading results with respect to algorithm selection and parameter tuning, and we recommend that distributional measures become the new standard for evaluating causal models.

研究の動機と目的

• 構造的ハミング距離（SHD）や構造的介入距離（SID）のような構造的指標が因果モデルの評価において優位を占めるのを挑戦すること。
• 構造的指標が推定された介入分布の真の正確さを反映しないことがあることの実証。
• 因果発見アルゴリズムの評価に、より信頼性が高く応用に即した指標として合計変動（TV）距離を確立すること。
• ネットワーク密度、依存強度、複雑な関数的関係といった要因が、合成データセットの現実性と難易度に与える影響を特定すること。
• 一般的に用いられる合成データセットが、実世界のデータに比べて著しく簡単であることが判明し、標準的な評価プロトコルの妥当性を損なっていること。

提案手法

• 因果モデルの主な評価指標として、介入分布間の合計変動（TV）距離を提案する。
• 学習されたDAGから推定された介入分布と真の介入分布との間のTV距離を用いて比較する。
• 実データセット（Postgres、JDK、HTTP）と合成データセット（Dirichlet、線形ガウス、ロジスティック）を用い、構造的およびパrametricな条件の変化に応じたモデル性能の評価を行う。
• 実世界の難易度に近づけるために、合成データ生成を調整し、ネットワーク密度、依存強度、関数的複雑性（例：Dirichletモデルにおける多項式CPT）を向上させる。
• TV距離の差の統計的有意性を評価するために、ツーキーのHSD検定を適用する。
• TV距離をゴールスタンダードとして用い、アルゴリズムの性能を比較することで、SHD や SID に依存する場合の不整合性を明らかにする。

実験結果

リサーチクエスチョン

• RQ1 SHD や SID といった構造的指標は、推定された介入分布の正確さをどの程度うまく予測できるか？
• RQ2 構造的指標は、実世界および合成環境下での因果モデルの真の品質をどのようないびつな形で反映しているか？
• RQ3 一般的に用いられる合成データセットは、実世界の因果発見タスクの難易度をどの程度過小評価しているか？
• RQ4 ネットワーク密度、依存強度、関数的複雑性といったデータ生成の特性のうち、因果モデル学習の難易度に最も顕著に影響を与えるのはどれか？
• RQ5 TV距離は、構造的指標に代わって因果発見アルゴリズムの評価に、より信頼性があり実用的であると見なせるか？

主な発見

• SHD や SID といった構造的指標は、過剰に指定されたモデルに対して一貫したペナルティを課さず、パrametricな品質を考慮しないため、研究者を誤導することが多い。
• 依存強度が変化する状況では、TV距離がSHD や SID よりも推定された介入分布の実際の正確さとより強く相関している。
• 実世界のデータセット（Postgres）は合成データセットよりも著しく難易度が高く、平均TV距離の差が最大1.17に達する（p < 0.05、ツーキー検定）。
• 線形またはロジスティック的依存関係しか持たない合成データセットは、実データに比べて著しく簡単であるため、評価の現実性に欠けている。
• 処理ノードの出次数を3〜5に引き上げ、複雑な条件付き確率表（例：Dirichletモデル）を用いることで、実データと同等の難易度を持つ合成データセットを生成できる。
• 高い依存強度と出次数5を備えたDirichletベースの合成モデルは、PostgresとのTV差が-0.93に達し、同等またはそれ以上の難易度を示した。