[论文解读] Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting

An Zhang, Fangfu Liu+4 more|arXiv (Cornell University)|Mar 6, 2023

Bayesian Modeling and Causal Inference被引用 4

一句话总结

该论文提出 ReScore，一种模型无关的框架，通过双层优化自适应重加权训练样本，提升可微分因果发现的性能。通过提高难以拟合但信息量大的样本权重，降低容易拟合但具有误导性的样本权重，ReScore 显著提升了异质数据上 DAG 结构学习的准确率与泛化能力，在合成数据和真实世界数据集上的多个基线方法中均实现了最先进性能。

ABSTRACT

Under stringent model type and variable distribution assumptions, differentiable score-based causal discovery methods learn a directed acyclic graph (DAG) from observational data by evaluating candidate graphs over an average score function. Despite great success in low-dimensional linear systems, it has been observed that these approaches overly exploit easier-to-fit samples, thus inevitably learning spurious edges. Worse still, inherent mostly in these methods the common homogeneity assumption can be easily violated, due to the widespread existence of heterogeneous data in the real world, resulting in performance vulnerability when noise distributions vary. We propose a simple yet effective model-agnostic framework to boost causal discovery performance by dynamically learning the adaptive weights for the Reweighted Score function, ReScore for short, where the weights tailor quantitatively to the importance degree of each sample. Intuitively, we leverage the bilevel optimization scheme to \wx{alternately train a standard DAG learner and reweight samples -- that is, upweight the samples the learner fails to fit and downweight the samples that the learner easily extracts the spurious information from. Extensive experiments on both synthetic and real-world datasets are carried out to validate the effectiveness of ReScore. We observe consistent and significant boosts in structure learning performance. Furthermore, we visualize that ReScore concurrently mitigates the influence of spurious edges and generalizes to heterogeneous data. Finally, we perform the theoretical analysis to guarantee the structure identifiability and the weight adaptive properties of ReScore in linear systems. Our codes are available at https://github.com/anzhang314/ReScore.

研究动机与目标

• 解决可微分基于评分的因果发现方法中对容易、具有误导性的样本过拟合的问题。
• 缓解异质真实世界数据中噪声分布偏移导致的性能下降问题。
• 开发一种模型无关的框架，根据学习难度动态分配样本权重。
• 在无需领域标注的情况下提升结构学习的准确率与泛化能力。
• 在线性系统中理论保证结构可识别性与自适应权重学习。

提出的方法

• ReScore 采用双层优化方案，交替训练标准 DAG 学习器并更新自适应样本权重。
• 上层优化根据下层 DAG 学习器的拟合性能调整样本权重。
• 对 DAG 学习器拟合效果差的样本进行加权，以强调其信息价值。
• 对通过误导性边容易拟合的样本进行降权，以减少其对学习过程的影响。
• 通过引入样本特定权重的可微分损失函数实现重加权机制。
• 该框架可兼容任意基于评分的 DAG 学习器，具备模型无关性，适用范围广泛。

实验结果

研究问题

• RQ1 自适应样本重加权是否能提升存在误导性边情况下的可微分因果发现准确率？
• RQ2 ReScore 是否能在不依赖领域标注的情况下提升对异质数据的泛化能力？
• RQ3 自适应加权机制是否相比均匀或固定加权，能更优地识别出信息量大的样本？
• RQ4 ReScore 在多种基线方法和数据类型（包括合成数据与真实世界数据）中的表现如何？
• RQ5 所提出的重加权机制在可识别性与自适应行为方面的理论依据是什么？

主要发现

• 在 NOTEARS 失败的合成链式结构上，ReScore 实现了结构汉明距离（SHD）的 100% 降低，证明其能有效消除误导性边。
• 在 Sachs 真实世界异质数据集上，GES+ReScore 达到 TPR 0.588 和 SHD 28，优于使用真实扰动标注的 CD-NOD。
• GraN-DAG+ReScore 实现 SHD 15 且预测 15 条边，性能与 CD-NOD 相当，但无需任何先验领域知识。
• 与基线相比，Baseline+ReScore 在多个数据集上 TPR 最高提升 31.4%，FDR 最高降低 30%。
• ReScore 在所有测试基线（包括 NOTEARS-MLP、GOLEM 和 GraN-DAG）的合成数据与真实世界数据上，均一致提升 SHD 与 SID。
• 消融实验确认，ReScore 的自适应权重至关重要，固定权重基线（如 Baseline+IPS）表现出现严重下降。