[论文解读] Improving Federated Relational Data Modeling via Basis Alignment and Weight Penalty

Yilun Lin, Chaochao Chen+2 more|arXiv (Cornell University)|Nov 23, 2020

Privacy-Preserving Technologies in Data参考文献 30被引用 4

一句话总结

本文提出 FedAlign，一种用于基于知识图谱的关联数据建模的新型联邦学习框架，通过结合基于最优传输的基对齐与 L-Lipschitz 权重惩罚，提升了收敛速度与性能。在基准数据集上，其表现优于 FedAVG 和 FedProx，尤其在处理星型结构图中的数据异质性与过拟合问题方面表现突出。

ABSTRACT

Federated learning (FL) has attracted increasing attention in recent years. As a privacy-preserving collaborative learning paradigm, it enables a broader range of applications, especially for computer vision and natural language processing tasks. However, to date, there is limited research of federated learning on relational data, namely Knowledge Graph (KG). In this work, we present a modified version of the graph neural network algorithm that performs federated modeling over KGs across different participants. Specifically, to tackle the inherent data heterogeneity issue and inefficiency in algorithm convergence, we propose a novel optimization algorithm, named FedAlign, with 1) optimal transportation (OT) for on-client personalization and 2) weight constraint to speed up the convergence. Extensive experiments have been conducted on several widely used datasets. Empirical results show that our proposed method outperforms the state-of-the-art FL methods, such as FedAVG and FedProx, with better convergence.

研究动机与目标

• 为解决联邦关联学习中数据异质性与收敛缓慢的挑战，特别是针对知识图谱。
• 克服现有联邦学习方法（如 FedAVG 和 FedProx）在应用于具有非独立同分布与不可分分布的图结构数据时的局限性。
• 减少由图数据不可分性及客户端间结构差异导致的模型发散。
• 提升联邦图学习中的泛化能力，防止过拟合，特别是在稀疏或星型图（如 MUTAG 和 BGS）上的表现。
• 实现在不共享原始图数据的前提下，跨机构实现隐私保护的协作训练。

提出的方法

• 提出 FedAlign，一种针对知识图谱定制的基于 RGCN 的联邦学习算法。
• 利用最优传输（OT）距离度量并对齐本地与全局模型之间的隐藏表征（基），以减少模型发散。
• 对模型权重施加 L-Lipschitz 约束，以保证平滑性并提升收敛稳定性。
• 引入权重惩罚正则化，防止模型对局部数据过拟合，尤其在低边密度图中表现更优。
• 采用基于 OT 的基对齐实现客户端个性化，结合联邦平均策略。
• 在统一优化目标中结合基对齐与权重惩罚，以增强模型泛化能力。

实验结果

研究问题

• RQ1 如何有效将联邦学习应用于关联数据建模，特别是针对不完整且异质性的知识图谱？
• RQ2 联邦图学习中本地与全局模型间显著发散的原因是什么？如何缓解？
• RQ3 基于最优传输的基对齐能否提升联邦图神经网络中的模型对齐与收敛性能？
• RQ4 L-Lipschitz 权重惩罚在多大程度上可减少稀疏或星型图数据集上的过拟合并提升性能？
• RQ5 FedAlign 与 FedAVG 和 FedProx 相比，在关联数据任务上的收敛速度与最终性能表现如何？

主要发现

• FedAlign 在所有三个基准数据集（AIFB、MUTAG、BGS）上均优于 FedAVG 和 FedProx，收敛速度与最终准确率均有持续提升。
• 在 MUTAG 和 BGS 上，L-Lipschitz 权重惩罚使模型性能提升 1% 至 5%，尤其有助于从早期停滞中恢复。
• 在 MUTAG 和 BGS 上，FedAlign-L（含权重惩罚）在初始下降后仍持续提升，而基线方法则趋于平稳，表明其更优地避开了局部最优。
• 采用最优传输进行基对齐显著减少了本地与全局模型表征之间的发散，尤其在结构异质性较高的图中效果明显。
• 尽管性能有所提升，联邦模型在完整图上的表现仍逊于集中式训练，凸显了分布式设置中信息损失的持续挑战。
• 该方法有效缓解了低边密度图中的过拟合问题，而 FedAVG 和 FedProx 因本地数据稀缺而泛化能力差。