[论文解读] An Adaptive Kernel Approach to Federated Learning of Heterogeneous Causal Effects

Thanh Vinh Vo, Arnab Bhattacharyya+2 more|arXiv (Cornell University)|Jan 1, 2023

Privacy-Preserving Technologies in Data被引用 7

一句话总结

本文提出 CausalRFF，一种联邦学习框架，可在不共享原始数据的前提下，对去中心化、非独立同分布（non-i.i.d.）的数据源估计异质因果效应。通过利用随机傅里叶特征（Random Fourier Features）分解损失函数，并自适应学习源之间的迁移系数，该方法实现了隐私保护的因果推断，且其估计效率由极小化最大下界（minimax lower bounds）验证。

ABSTRACT

We propose a new causal inference framework to learn causal effects from multiple, decentralized data sources in a federated setting. We introduce an adaptive transfer algorithm that learns the similarities among the data sources by utilizing Random Fourier Features to disentangle the loss function into multiple components, each of which is associated with a data source. The data sources may have different distributions; the causal effects are independently and systematically incorporated. The proposed method estimates the similarities among the sources through transfer coefficients, and hence requiring no prior information about the similarity measures. The heterogeneous causal effects can be estimated with no sharing of the raw training data among the sources, thus minimizing the risk of privacy leak. We also provide minimax lower bounds to assess the quality of the parameters learned from the disparate sources. The proposed method is empirically shown to outperform the baselines on decentralized data sources with dissimilar distributions.

研究动机与目标

• 解决在保护数据隐私的前提下，从去中心化、非独立同分布的数据源中估计因果效应的挑战。
• 开发一种联邦因果推断方法，无需在机构间共享原始数据。
• 即使在不同数据源间数据分布显著差异的情况下，也能实现对异质因果效应的准确估计。
• 通过极小化最大下界（minimax lower bounds）理论界定所提框架下的估计误差。
• 探索与多方差分隐私（multiparty differential privacy）的集成，以增强隐私保障。

提出的方法

• 该方法使用随机傅里叶特征（RFF）将全局损失函数分解为与各源相关的组件，从而支持联邦优化。
• 引入自适应迁移系数，以在不了解源间相似性度量的前提下建模源之间的相似性。
• 该框架基于结构因果模型（SCM），支持在去中心化环境中估计个体化处理效应。
• 目标函数被设计为允许每个客户端在其本地组件上进行优化，同时通过共享的核参数保持全局一致性。
• 利用法诺不等式（Fano’s inequality）和度量熵（metric entropy）论证，推导出极小化最大下界，以确立在所提设置下的估计误差基本极限。
• 该方法支持连续和二值结果，其理论分析通过 KL 散度界扩展至伯努利分布结果。

实验结果

研究问题

• RQ1 当数据源具有显著不同的分布时，能否在联邦设置中准确估计因果效应？
• RQ2 在缺乏对源间相似性先验知识的前提下，如何自适应地学习迁移系数？
• RQ3 在隐私约束下，去中心化因果推断的估计精度存在何种基本极限？
• RQ4 当数据为非独立同分布且隐私要求严格时，所提方法能否优于集中式基线方法？
• RQ5 多方差分隐私的集成如何影响因果估计器的性能与效用？

主要发现

• 所提出的 CausalRFF 框架在分布差异显著的去中心化数据源上优于基线方法，展现出更高的估计精度。
• 极小化最大下界证实，CausalRFF 的估计误差处于理论最优速率的常数倍范围内，验证了其效率。
• 对于二值结果，推导出的下界为 $ \frac{m\log(2\sqrt{m})}{32\sqrt{2}\sum_{\mathsf{s}}n_{\mathsf{s}}(1+\sum_{\mathsf{v}\neq\mathsf{s}}\eta^{\mathsf{s},\mathsf{v}})} $，反映了数据分布与迁移系数的影响。
• 该方法通过避免原始数据共享，仅依赖通信中的模型参数与梯度，实现隐私保护。
• 在 IHDP 数据集上的实证评估显示，10 次重复实验中性能一致，评估指标的均值稳定且标准误较低。
• 理论分析表明，由于自适应核结构的存在，当源数量增加时，该框架仍保持鲁棒性。