[论文解读] Matching Learned Causal Effects of Neural Networks with Domain Priors

Sai Srinivas Kancheti, Abbavaram Gowtham Reddy+2 more|arXiv (Cornell University)|Nov 24, 2021

Bayesian Modeling and Causal Inference被引用 7

一句话总结

本文提出 CREDO，一种神经网络正则化方法，通过模型学习到的因果效应与专家提供的先验函数之间的梯度匹配，使学习到的因果效应与领域先验保持一致。该方法在 12 个基准数据集上保持高准确率的同时，提升了模型的鲁棒性和公平性。

ABSTRACT

A trained neural network can be interpreted as a structural causal model (SCM) that provides the effect of changing input variables on the model's output. However, if training data contains both causal and correlational relationships, a model that optimizes prediction accuracy may not necessarily learn the true causal relationships between input and output variables. On the other hand, expert users often have prior knowledge of the causal relationship between certain input variables and output from domain knowledge. Therefore, we propose a regularization method that aligns the learned causal effects of a neural network with domain priors, including both direct and total causal effects. We show that this approach can generalize to different kinds of domain priors, including monotonicity of causal effect of an input variable on output or zero causal effect of a variable on output for purposes of fairness. Our experiments on twelve benchmark datasets show its utility in regularizing a neural network model to maintain desired causal effects, without compromising on accuracy. Importantly, we also show that a model thus trained is robust and gets improved accuracy on noisy inputs.

研究动机与目标

• 解决神经网络在训练数据同时包含因果模式和相关模式时，学习到虚假相关性而非真实因果关系的局限性。
• 使专家用户能够将关于因果效应的领域知识（如单调性、零效应或特定函数形式）注入神经网络训练过程。
• 区分并正则化直接因果效应和总因果效应，确保模型行为更加准确和可信。
• 通过强制正确的因果结构，提升模型对噪声输入和分布外数据的鲁棒性。
• 通过强制保护性特征对预测的因果效应为零，提升机器学习中的公平性。

提出的方法

• 将直接因果效应和总因果效应形式化为神经网络输出相对于输入特征的梯度。
• 定义一个可微分的领域先验函数，以编码专家关于预期因果效应形状或符号的知识（例如正、负、单调、零）。
• 引入一种梯度匹配正则化器，最小化神经网络因果效应梯度与领域先验函数梯度之间的 L2 距离。
• 使用结合标准预测损失和因果正则化损失的复合损失函数来优化神经网络。
• 通过在计算图中相关路径上计算梯度，支持直接因果效应和总因果效应的正则化。
• 支持灵活的先验：用户可指定部分或完整的因果知识，包括递减回报或 U 型曲线等函数形式。

实验结果

研究问题

• RQ1 当训练数据包含混淆相关性时，神经网络是否仍能被训练为学习与专家提供的领域先验一致的因果效应？
• RQ2 学习到的因果效应与领域先验之间的梯度匹配，如何提升模型对噪声或分布外输入的鲁棒性？
• RQ3 所提出的方法是否能通过将保护性特征的因果效应设为零来实现公平性，同时不降低预测准确率？
• RQ4 该方法在因果图未知或复杂、且领域先验类型多样的多样化数据集上是否具有泛化能力？
• RQ5 在公平性度量和因果归因准确性方面，该方法与现有公平性算法相比表现如何？

主要发现

• CREDO 在 12 个基准数据集（包括 COMPAS、AutoMPG 和 Boston Housing）上成功对因果效应施加了领域先验，且准确率下降最小。
• 在 SANGIOVESE 和 AutoMPG 数据集上，CREDO 模型在高斯噪声方差为 1.0 的情况下，准确率高于 ERM，显示出更强的鲁棒性。
• 在公平性评估中，CREDO 将 COMPAS 数据集中非裔美国人与白人个体的差异影响从 ERM 的 0.77 提升至 0.84，表明代理歧视减少。
• 在 Boston Housing 数据集上，CREDO 对非裔美国人实现了零 ACDE（平均因果直接效应）（0.00 vs. 0.10 for ERM），在因果归因方面优于标准公平性方法。
• CREDO 实现了 0.66 的人口统计差异，优于 ERM（0.86），并达到 EG（0.45）的水平，同时更好地保持了因果保真度。
• 消融研究证实，正则化强度和先验正确性显著影响性能，错误的先验会导致准确率下降。