[論文レビュー] Estimating the probabilities of causation via deep monotonic twin networks.

Athanasios Vlontzos, Bernhard Kainz+1 more|arXiv (Cornell University)|Sep 4, 2021

Explainable Artificial Intelligence (XAI)参考文献 34被引用数 5

ひとこと要約

本稿では、モノトニックなツインネットワークを用いた深層学習的手法を提案し、因果の反事後確率を推定する。ツインネットワークの図的構造を活用することで、スケーラブルかつ同定可能（identifiable）な推論が可能となる。訓練中に同定可能性制約を強制することにより、合成データおよび実世界データの両方において、必要因果および十分因果の正確な推定が可能となる。

ABSTRACT

There has been much recent work using machine learning to answer causal queries. Most focus on interventional queries, such as the conditional average treatment effect. However, as noted by Pearl, interventional queries only form part of a larger hierarchy of causal queries, with counterfactuals sitting at the top. Despite this, our community has not fully succeeded in adapting machine learning tools to answer counterfactual queries. This work addresses this challenge by showing how to implement twin network counterfactual inference -- an alternative to abduction, action, & prediction counterfactual inference -- with deep learning to estimate counterfactual queries. We show how the graphical nature of twin networks makes them particularly amenable to deep learning, yielding simple neural network architectures that, when trained, are capable of counterfactual inference. Importantly, we show how to enforce known identifiability constraints during training, ensuring the answer to each counterfactual query is uniquely determined. We demonstrate our approach by using it to accurately estimate the probabilities of causation -- important counterfactual queries that quantify the degree to which one event was a necessary or sufficient cause of another -- on both synthetic and real data.

研究の動機と目的

• 機械学習を反事後クエリに適用する分野におけるギャップを埋めること、これはペイジの因果階層の最上位に位置する。
• 必要因果および十分因果を定量化する、反事後クエリの中心的役割を果たす因果の確率を正確に推定すること。
• 既知の同定可能性制約を強制しながら、ツインネットワークに基づく反事後推論に深層学習を適応させること。
• 単純でありながら、一意に決定された反事後回答を生成できるニューラルアーキテクチャを開発すること。

提案手法

• 1つのネットワークが観測世界を、もう1つのネットワークが反事後世界を表すツインネットワークアーキテクチャを用い、構造的一致性を保つためにパラメータを共有する。
• 深層ニューラルネットワークを用いてツインシステムの構造方程式をモデル化し、観測データ上でエンドツーエンドの学習を可能にする。
• 出力に単調性制約を適用することで、既知の因果順序と論理的一致性を保ち、一般化性能を向上させる。
• 訓練中に同定可能性制約を明示的に強制することで、各反事後クエリに対して一意な解が保証される。
• 訓練目的関数は、観測データにおける予測誤差を最小化するとともに、ツインシステム間の構造的制約を維持することを目的とする。

実験結果

リサーチクエスチョン

• RQ1 同定可能性を保証する形で、反事後因果確率を推定するために深層学習が有効に利用可能か。
• RQ2 ツインネットワークの図的構造をどのように活用して、反事後推論のための単純でスケーラブルなニューラルアーキテクチャを設計できるか。
• RQ3 単調性および同定可能性制約が、反事後推定の信頼性および一意性をどの程度向上できるか。
• RQ4 提案手法は、合成データおよび実世界データの両方において、必要因果および十分因果の推定にどの程度効果を発揮するか。

主な発見

• 提案手法は、合成データにおいて因果の確率を高い精度で推定でき、必要因果および十分因果の正しく同定されていることを示した。
• 訓練中に強制された同定可能性制約のおかげで、反事後クエリに対して一意な解が維持された。
• ツインネットワークアーキテクチャにより、明示的なアブダクション、アクション、予測ステップを必要とせずに、効率的かつスケーラブルな反事後推論が可能となった。
• 実世界データに対しても一般化が良く、現実的な観測条件下での因果確率推定において、頑健な性能を示した。