[論文レビュー] The Causal-Neural Connection: Expressiveness, Learnability, and Inference

Kevin Xia, Kai-Zhan Lee+2 more|arXiv (Cornell University)|Jul 1, 2021

Bayesian Modeling and Causal Inference被引用数 20

ひとこと要約

この論文は、構造的因果制約を組み込むことで因果的同定可能性と推定を可能にする、ニューラルネットワークの新クラスであるニューラル因果モデル（NCMs）を導入する。ニューラルネットワークの汎用表現力にもかかわらず、著者らは標準的なモデルが因果階層の固有の制限により、観測データのみから介入を学習できないことを証明している。NCMsは因果構造を埋め込むことで、因果推論タスクにおける同定可能性の保証と正確な推定を可能にするエンドツーエンド最適化を実現する。シミュレーションでは、同定可能性と推定の両面で優れた性能を示す。

ABSTRACT

One of the central elements of any causal inference is an object called structural causal model (SCM), which represents a collection of mechanisms and exogenous sources of random variation of the system under investigation (Pearl, 2000). An important property of many kinds of neural networks is universal approximability: the ability to approximate any function to arbitrary precision. Given this property, one may be tempted to surmise that a collection of neural nets is capable of learning any SCM by training on data generated by that SCM. In this paper, we show this is not the case by disentangling the notions of expressivity and learnability. Specifically, we show that the causal hierarchy theorem (Thm. 1, Bareinboim et al., 2020), which describes the limits of what can be learned from data, still holds for neural models. For instance, an arbitrarily complex and expressive neural net is unable to predict the effects of interventions given observational data alone. Given this result, we introduce a special type of SCM called a neural causal model (NCM), and formalize a new type of inductive bias to encode structural constraints necessary for performing causal inferences. Building on this new class of models, we focus on solving two canonical tasks found in the literature known as causal identification and estimation. Leveraging the neural toolbox, we develop an algorithm that is both sufficient and necessary to determine whether a causal effect can be learned from data (i.e., causal identifiability); it then estimates the effect whenever identifiability holds (causal estimation). Simulations corroborate the proposed approach.

研究の動機と目的

• ニューラルネットワークの汎用関数近似能力と、観測データのみから介入を同定できないというその限界との間のギャップを埋める。
• ニューラルモデルにおける因果推論に不可欠な構造的制約を符号化する新しいインダクティブバイアスを形式化する。
• 因果的同定可能性を特定し、因果効果を推定する一括最適化プロセスで動作する統合フレームワークを構築する。
• ニューラルネットワークが、単なる関数フィッティングをはるかに超えて、因果的推論（特に同定可能性）を実行できることを示す。
• 生成的モデリングによる観測分布と介入分布の両方をサポートする代理モデルフレームワークを提供し、包括的な因果パイプライン学習を可能にする。

提案手法

• 構造的因果制約をニューラルアーキテクチャに埋め込むことで、因果階層と整合性を持つニューラル因果モデル（NCM）を提案する。
• 変分推論フレームワークを用いて、観測分布 $P(V)$ と介入分布 $P(y \mid do(x))$ を同時に学習する微分可能最適化目的関数を定式化する。
• 学習した $P(V)$ と $P(y \mid do(x))$ の最適化の間でバランスを取るための動的ハイパーパrameter $\lambda$ を導入し、訓練の初期段階で高く設定し、徐々に減少させることで、分布学習の正確性を確保する。
• Algorithm 1 を開発し、$P(y \mid do(x))$ が $P(V)$ から一意に決定可能かどうかをチェックすることで、因果的同定可能性を決定するニューラル最適化ベースの手法を実現する。
• 代理モデルアプローチを採用し、NCM を真の SCM の観測層に一致させる一方で、高次の因果層の推論能力を維持する。
• 因果階層定理（Bareinboim et al., 2020）を活用し、構造的制約がなければ、極めて表現力の高いニューラルネットワークですら同定可能性の限界を回避できないことを証明する。

実験結果

リサーチクエスチョン

• RQ1 汎用表現力を持つにもかかわらず、観測データのみでトレーニングされたニューラルネットワークは、介入の効果を同定できるか？
• RQ2 ニューラルネットワークが因果的推論（たとえば、因果効果が同定可能かどうかを特定する）を実行するには、どのようなインダクティブバイアスが必要か？
• RQ3 1つのニューラルモデルが同時に因果的同定可能性を特定し、介入分布を推定できるか？
• RQ4 ニューラルモデルに構造的制約を組み込むことで、因果推論タスク全体にわたる一般化能力にどのような影響を与えるか？
• RQ5 $P(y \mid do(x))$ の正確な推定を保ちつつ、$P(V)$ と整合性を保つために必要なトレーニングダイナミクスと最適化戦略は何か？

主な発見

• 汎用表現力があるにもかかわらず、標準的なニューラルネットワークは因果階層の制約により、観測データのみから介入を同定できない。
• 提案されたニューラル因果モデル（NCM）は、エンドツーエンドの微分可能最適化により、因果的同定可能性を的確に特定し、介入分布を推定するのに成功している。
• 動的ハイパーパrameter $\lambda$ により、観測分布の学習と介入クエリの最適化の間で効果的なトレードオフが実現され、収束性と正確性が向上している。
• シミュレーションでは、トレーニング誤差を最小化した場合、同定可能性検出と推定の両方で高い正確性を達成しており、本手法の頑健性を裏付けている。
• 本フレームワークは、観測分布と介入分布の両方の生成的モデリングをサポートしており、クエリ特化型推定手法に比べてより広範な用途を有する。
• 本研究は、構造的因果制約を埋め込むことで、ニューラルネットワークが関数近似をはるかに超えて因果的推論（特に同定可能性）を実行できることを、初めて示した。