[论文解读] IFedAvg: Interpretable Data-Interoperability for Federated Learning

David Roschewitz, Mary‐Anne Hartley+2 more|arXiv (Cornell University)|Jul 14, 2021

Privacy-Preserving Technologies in Data参考文献 26被引用 5

一句话总结

iFedAvg 提出了一种新颖的联邦学习框架，通过引入客户端特定的、可解释的仿射变换，增强表格数据集的数据互操作性，以检测并纠正本地数据分布偏移，而无需共享原始数据。该方法在计算开销可忽略不计的情况下实现了具有竞争力的性能，并通过实现对联邦参与方之间数据不一致性进行细粒度的、特征级别的可解释分析，显著提升了在异常客户端上的鲁棒性。

ABSTRACT

Recently, the ever-growing demand for privacy-oriented machine learning has motivated researchers to develop federated and decentralized learning techniques, allowing individual clients to train models collaboratively without disclosing their private datasets. However, widespread adoption has been limited in domains relying on high levels of user trust, where assessment of data compatibility is essential. In this work, we define and address low interoperability induced by underlying client data inconsistencies in federated learning for tabular data. The proposed method, iFedAvg, builds on federated averaging adding local element-wise affine layers to allow for a personalized and granular understanding of the collaborative learning process. Thus, enabling the detection of outlier datasets in the federation and also learning the compensation for local data distribution shifts without sharing any original data. We evaluate iFedAvg using several public benchmarks and a previously unstudied collection of real-world datasets from the 2014 - 2016 West African Ebola epidemic, jointly forming the largest such dataset in the world. In all evaluations, iFedAvg achieves competitive average performance with negligible overhead. It additionally shows substantial improvement on outlier clients, highlighting increased robustness to individual dataset shifts. Most importantly, our method provides valuable client-specific insights at a fine-grained level to guide interoperable federated learning.

研究动机与目标

• 解决由于表格数据集中异构客户端数据分布导致的联邦学习中互操作性低下的问题。
• 在不共享原始数据的前提下，实现对异常数据集的检测以及对本地数据偏移的补偿。
• 在特征层面提供可解释的、客户端特定的数据兼容性洞察，以提升信任与协作。
• 在2014–2016年西非埃博拉疫情的真实世界高风险医疗数据及公开基准上评估该方法。
• 证明个性化、可解释的数据变换可在计算成本极低的前提下，提升模型鲁棒性与联邦学习透明度。

提出的方法

• 通过在每个客户端增加局部可学习的逐元素仿射层（缩放与偏移）扩展 FedAvg，以建模客户端特定的数据变换。
• 这些仿射层在联邦平均过程中端到端训练，实现补偿本地数据分布偏移的个性化归一化。
• 通过仅依赖模型梯度和聚合更新，而非交换原始数据，从而保护隐私。
• 通过可视化每个客户端每个特征的已学习仿射权重，实现可解释性，揭示相对于其他客户端的数据偏移方向与大小。
• 该框架支持在训练过程中检测不兼容客户端并自动校正其数据偏移。
• 该方法计算轻量化，对标准 FedAvg 的计算开销增加可忽略不计。

实验结果

研究问题

• RQ1 联邦学习框架是否能在不共享原始数据的前提下，检测并纠正表格数据中客户端特定的数据分布偏移？
• RQ2 如何在特征层面增强数据互操作性的可解释性，以支持联邦学习中的信任与协作？
• RQ3 与 FedAvg 相比，该方法在具有显著数据偏移的异常客户端上性能提升程度如何？
• RQ4 该方法是否能有效应用于具有固有异质性的现实世界高风险医疗数据集？
• RQ5 添加可解释的个性化变换是否在保持竞争力性能的同时提升了鲁棒性？

主要发现

• iFedAvg 在所有基准测试中（包括公开数据集和大规模西非埃博拉疫情数据集）均实现了具有竞争力的平均性能，且计算开销可忽略不计。
• 在存在显著数据分布偏移的客户端上，iFedAvg 相较于 FedAvg 和集中式学习表现出显著的性能提升，证明了其增强的鲁棒性。
• 该方法成功检测并补偿了特征级别的数据偏移，可视化结果清晰地识别出导致客户端异常状态的特征（例如，儿科与老年科环境中的“年龄”特征）。
• 所学习的仿射变换揭示了偏移的方向与大小，使从业者能够透明地评估数据兼容性与协作适宜性。
• 该框架有效处理了来自多个西非国家15家以上埃博拉治疗中心的真实世界数据异质性，验证了其在复杂隐私敏感环境中的实用性。
• 该方法的可解释性支持关于客户端参与和数据质量的知情决策，降低了因偏差或不兼容数据导致模型性能下降的风险。