[论文解读] Interplay between Federated Learning and Explainable Artificial Intelligence: a Scoping Review

Luis M. López-Ramos, Florian Leiser+7 more|arXiv (Cornell University)|Nov 7, 2024

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本综述研究探讨了联邦学习（FL）与可解释人工智能（XAI）之间的相互作用，识别出一个关键的研究空白：极少有研究量化联邦学习对模型解释的影响。研究发现，尽管大多数研究集中于特征重要性解释，但联邦学习聚合过程会削弱节点特定的可解释性模式，且标准化报告实践仍极为罕见。

ABSTRACT

Contains basic and extraction data about papers included in a scoping review about the interplay between federated learning and explainable artificial intelligence.

研究动机与目标

• 绘制并分析联邦学习（FL）与可解释人工智能（XAI）联合应用的当前研究状态。
• 识别结合FL与XAI的研究中的方法论和报告空白，尤其关注透明度与可重现性。
• 研究联邦学习训练如何影响模型可解释性及事后解释，特别是全局解释与局部解释保真度的差异。
• 强调缺乏标准化报告实践，包括联邦学习库使用情况和数据特征记录。
• 呼吁开展更多严谨的、定量的研究，以评估联邦学习对模型结构和可解释性的影响。

提出的方法

• 对明确涉及联邦学习（FL）与可解释人工智能（XAI）的同行评审出版物进行综述，重点分析其在模型可解释性或事后解释中的联合作用。
• 筛选出37项符合纳入标准的研究，重点关注涉及10个或以下数据中心的横向联邦学习（HFL）设置。
• 根据研究是否强调可解释性（如算法透明度）或解释方法（如特征重要性）对研究进行分类。
• 通过评估其对TRIPOD+AI和MINIMAR等标准在数据与模型报告方面的遵循程度，评估报告质量。
• 分析已建立的联邦学习库（如Flower、PySyft）的使用情况与自定义实现之间的差异，并评估方法描述的透明度。
• 识别术语使用中的不一致，特别是围绕“可解释性”、“可解释性”和“XAI”等术语，倡导采用标准化定义。

Figure 1: Schematic overview of a main research question: do explanations differ between federated models and centralized models?

实验结果

研究问题

• RQ1 与集中式训练相比，联邦学习如何影响模型解释的质量、保真度和一致性？
• RQ2 在联邦学习与可解释人工智能的研究中，有多少比例的研究使用了成熟的联邦学习库？这如何影响可重现性与透明度？
• RQ3 在多大程度上，研究按照报告指南（如TRIPOD+AI或MINIMAR）报告了数据特征、模型性能和解释度量指标？
• RQ4 在联邦学习-可解释人工智能研究中，主流的解释方法类型是什么？它们与以可解释性为重点的方法相比有何异同？
• RQ5 哪些关键的方法论和报告空白阻碍了联邦学习-可解释人工智能系统的可重现性与负责任部署？

主要发现

• 在本综述中，仅有一项研究明确且定量地分析了联邦学习对模型解释的影响，揭示了该领域存在显著的研究空白。
• 联邦学习节点之间可解释性度量的聚合常会稀释节点特定的模式，导致以牺牲局部可解释性保真度为代价，获得泛化的全局洞察。
• 八项研究将解释方法作为联邦学习算法的组成部分，表明将XAI整合进联邦学习训练循环具有潜在可能性。
• 仅少数研究使用了成熟的联邦学习库（如Flower、PySyft），大多数研究要么采用自定义实现，要么缺乏实现细节。
• 许多研究未能报告数据特征，或未遵循TRIPOD+AI或MINIMAR等报告指南，削弱了可重现性与可审计性。
• 术语使用缺乏共识，对“可解释性”、“可解释性”和“XAI”等术语的使用不一致，阻碍了可比性与方法论清晰度。

Figure 2: Flow diagram indicating the number of papers identified, excluded in the different phases, and included in the review.