[論文レビュー] The Case for Evaluating Causal Models Using Interventional Measures and Empirical Data

Amanda Gentzel, Dan Garant+1 more|arXiv (Cornell University)|Oct 11, 2019

Explainable Artificial Intelligence (XAI)被引用数 19

ひとこと要約

本稿は、因果推論アルゴリズムの評価において、合成データや構造的・観察的指標に依存するのではなく、現実世界の実証データに基づく介入的指標を用いることを提唱する。最近の文献を調査した結果、このような評価は稀であるが、現実世界での有用性や一般化性能を評価する上で実現可能かつ不可欠であることが示され、従来の手法とは対照的に、実証的介入的評価では顕著な性能差が生じることが明らかになった。

ABSTRACT

Causal inference is central to many areas of artificial intelligence, including complex reasoning, planning, knowledge-base construction, robotics, explanation, and fairness. An active community of researchers develops and enhances algorithms that learn causal models from data, and this work has produced a series of impressive technical advances. However, evaluation techniques for causal modeling algorithms have remained somewhat primitive, limiting what we can learn from experimental studies of algorithm performance, constraining the types of algorithms and model representations that researchers consider, and creating a gap between theory and practice. We argue for more frequent use of evaluation techniques that examine interventional measures rather than structural or observational measures, and that evaluate those measures on empirical data rather than synthetic data. We survey the current practice in evaluation and show that the techniques we recommend are rarely used in practice. We show that such techniques are feasible and that data sets are available to conduct such evaluations. We also show that these techniques produce substantially different results than using structural measures and synthetic data.

研究の動機と目的

• 因果モデリングアルゴリズムの評価実践におけるギャップに取り組むこと。特に、合成データや構造的指標に依存する一方で、現実世界の介入的データに依存しない傾向がある点を指摘する。
• 現在の評価手法が、アルゴリズムが現実世界のシステムに一般化できるか、あるいは介入効果を正確に推定できるかを評価できないことを主張する。
• 実証的データ上での介入的評価が実現可能であり、従来の手法と比較して顕著に異なる結果をもたらすことを実証する。
• コミュニティが標準的なアルゴリズム評価の一部として、介入的指標と実証データを日常的かつ継続的に採用するよう促す。
• より広範かつ信頼性の高い因果モデルの評価を可能にするために、既知の介入効果を有するデータセットの作成と共有を促進する。

提案手法

• 著者らは、評価を「データソース」「アルゴリズム」「評価指標」の3要素に分解し、評価実践のモジュラーな分析を可能にした。
• トップクラスのAI/ML国際会議から選ばれた111篇の最近論文を対象に、評価手法の使用状況を定量的に調査した。主にデータソース、アルゴリズムの種別、評価指標の種別に焦点を当てた。
• 実証的データ上での因果モデルの評価には、推定された介入分布と、実証データで測定された真の介入効果との間の合計変動距離（TVD）を用いた。
• 実証的データでは、各クエリに対して異なる治療条件（例：T=0 と T=1）における結果を測定することで、介入をシミュレートし、真の P(O|do(T=t)) の推定を可能にした。
• パラメータ化された因果モデルに対してド計算を適用し、推定された介入分布 P̂(O|do(T=t)) を生成し、真の P(O|do(T=t)) と比較した。
• 評価フレームワークでは、TVDを介入的指標として用いた：TVD = 1/2 * Σ|P(O=o|do(T=t)) - P̂(O=o|do(T=t))|。この指標により、モデルの正確性を数値的に評価した。

実験結果

リサーチクエスチョン

• RQ1 現在の因果モデリングアルゴリズムの評価において、介入的指標と実証的データはどの程度頻繁に使用されているか？
• RQ2 因果モデルの評価において、合成データと構造的・観察的指標に依存することの限界は何か？
• RQ3 現実世界のデータ上での介入的評価は、従来の評価手法と比較して顕著に異なる性能順位をもたらすか？
• RQ4 現在の評価実践は、因果推論アルゴリズムの現実世界への採用と信頼性にどの程度障害をもたらしているか？
• RQ5 広範な評価を可能にするために、既知の介入効果を有するデータセットの作成と共有における実務的課題と実現可能性は何か？

主な発見

• 91篇の評価対象論文のうち、介入的指標を実証的データ上で使用したのは6篇（6.6％）にとどまり、最も関連性の高い評価手法が広く使われていないことが示された。
• 合計で11篇（91篇中12.1％）の論文が介入的指標を使用したが、そのうち実証的データを用いたのは6篇にとどまり、実データ上での介入的評価は極めて稀であることが明らかになった。
• 調査では82％の論文が因果モデルを評価していたが、その多くは合成データと構造的指標に依存しており、外部妥当性が制限されていた。
• TVDを用いた実証的介入的評価では、ソフトウェアデータセットにおいてGESが最も優れた性能を示したが、これは合成データや観察的指標のみでは得られなかった結果である。
• 本研究では、実データ上での介入的評価が従来の手法と比較して顕著に異なる性能順位をもたらすことが実証され、現在の評価手法による誤った結論のリスクが浮き彫りになった。
• 著者らは、現在の評価手法が現実世界での有用性を適切に評価するには不十分であり、実証的介入的データを評価に組み込むことで信頼性と広範な採用が可能になると結論づけた。