[论文解读] CASTLE: Regularization via Auxiliary Causal Graph Discovery

Trent Kyono, Yao Zhang+1 more|arXiv (Cornell University)|Sep 28, 2020

Bayesian Modeling and Causal Inference参考文献 49被引用 27

一句话总结

CASTLE 引入了一种新颖的正则化方法，通过在训练过程中联合学习一个因果有向无环图（DAG）作为辅助任务，提升了深度学习的泛化能力。通过仅重构具有因果邻居的特征并利用因果结构，CASTLE 在多种合成数据集和真实世界数据集上均实现了更优的泛化性能，始终优于标准正则化方法如 Dropout、权重衰减和自编码器。

ABSTRACT

Regularization improves generalization of supervised models to out-of-sample data. Prior works have shown that prediction in the causal direction (effect from cause) results in lower testing error than the anti-causal direction. However, existing regularization methods are agnostic of causality. We introduce Causal Structure Learning (CASTLE) regularization and propose to regularize a neural network by jointly learning the causal relationships between variables. CASTLE learns the causal directed acyclical graph (DAG) as an adjacency matrix embedded in the neural network's input layers, thereby facilitating the discovery of optimal predictors. Furthermore, CASTLE efficiently reconstructs only the features in the causal DAG that have a causal neighbor, whereas reconstruction-based regularizers suboptimally reconstruct all input features. We provide a theoretical generalization bound for our approach and conduct experiments on a plethora of synthetic and real publicly available datasets demonstrating that CASTLE consistently leads to better out-of-sample predictions as compared to other popular benchmark regularizers.

研究动机与目标

• 通过将因果结构融入正则化，提升监督深度学习中的泛化能力。
• 解决现有正则化方法对变量间因果关系视而不见的局限性。
• 克服基于重构的方法效率低下的问题，后者会重构所有特征，包括非因果特征。
• 开发一种理论基础扎实、稳定的正则化方法，通过因果父节点发现识别最优预测器。
• 在包括高维和噪声环境在内的多样化数据集上，展示一致的性能提升。

提出的方法

• CASTLE 将因果 DAG 作为邻接矩阵嵌入前馈神经网络的输入层中。
• 通过在 DAG 空间上的连续优化，联合优化预测任务和因果结构发现。
• 该方法仅重构在学习到的 DAG 中具有因果邻居的输入特征，避免对无关或噪声特征进行次优重构。
• 通过 DAG 约束的可微松弛，实现端到端的连续优化训练。
• 该方法基于 PAC-Bayes 理论推导出理论泛化界。
• 该框架在回归和分类任务中均适用，且仅需对网络架构进行最小程度的修改。

实验结果

研究问题

• RQ1 联合学习因果结构是否能提升监督深度学习模型的泛化能力？
• RQ2 仅重构与因果相关的特征是否比重构所有特征具有更好的正则化效果？
• RQ3 在多样化数据集上，CASTLE 与标准正则化方法（如 Dropout、权重衰减和自编码器）相比表现如何？
• RQ4 CASTLE 在高维输入、噪声增加和不同数据集规模下是否具有鲁棒性？
• RQ5 因果结构发现能否作为真实世界和合成数据中稳定且有效的正则化方法？

主要发现

• 在全部 11 个真实世界数据集的回归和分类任务中，CASTLE 均实现了最低的测试误差。
• 在 Pima 糖尿病数据集上，CASTLE 的测试 RMSE 为 0.246 ± 0.153，优于所有基准方法。
• 在分类任务中，CASTLE 在 Facebook Metrics 数据集上实现了 0.817 ± 0.007 的 AUROC，为所有方法中的最高值。
• 即使在高维输入或不相关噪声下，CASTLE 也未表现出性能下降，展现出良好的鲁棒性。
• 消融实验证实，因果结构发现和选择性重构是性能提升的关键来源。
• 在所有数据集的 100% 的 10 折交叉验证运行中，CASTLE 均为表现最佳的正则化方法，且无一致的次优方法。