[论文解读] FedE: Embedding Knowledge Graphs in Federated Setting

Mingyang Chen, Wen Zhang+3 more|arXiv (Cornell University)|Oct 24, 2020

Advanced Graph Neural Networks参考文献 31被引用 8

一句话总结

FedE 是一种联邦知识图谱嵌入框架，可在不共享原始三元组的情况下，实现多个隐私敏感客户端之间的协作式知识图谱补全。通过在中央服务器上聚合本地训练的实体嵌入以保护数据隐私，FedE 实现了与集中式训练相当的性能，并在基准数据集上显著优于单一知识图谱的训练。

ABSTRACT

Knowledge graphs (KGs) consisting of triples are always incomplete, so it's important to do Knowledge Graph Completion (KGC) by predicting missing triples. Multi-Source KG is a common situation in real KG applications which can be viewed as a set of related individual KGs where different KGs contains relations of different aspects of entities. It's intuitive that, for each individual KG, its completion could be greatly contributed by the triples defined and labeled in other ones. However, because of the data privacy and sensitivity, a set of relevant knowledge graphs cannot complement each other's KGC by just collecting data from different knowledge graphs together. Therefore, in this paper, we introduce federated setting to keep their privacy without triple transferring between KGs and apply it in embedding knowledge graph, a typical method which have proven effective for KGC in the past decade. We propose a Federated Knowledge Graph Embedding framework FedE, focusing on learning knowledge graph embeddings by aggregating locally-computed updates. Finally, we conduct extensive experiments on datasets derived from KGE benchmark datasets and results show the effectiveness of our proposed FedE.

研究动机与目标

• 解决多源环境下因数据隐私限制而无法集中收集数据时知识图谱不完整的问题。
• 在不暴露原始三元组或敏感关系的前提下，实现多个客户端之间的协作式知识图谱补全。
• 开发一种可泛化的框架，能够与联邦学习环境下的现有知识图谱嵌入方法集成。
• 通过仅在本地训练并仅聚合实体嵌入（而非原始三元组或关系信息）来确保数据隐私。
• 证明联邦知识图谱嵌入在基准数据集上的性能可与甚至优于集中式训练。

提出的方法

• 联邦知识图谱嵌入（FedE）采用服务器-客户端架构，每个客户端维护其自身的知识图谱及其本地三元组和关系。
• 客户端使用自身数据在本地训练知识图谱嵌入模型，仅更新实体嵌入，不共享三元组。
• 中央服务器使用类似 FedAvg 的平均方法聚合本地计算的实体嵌入更新，以更新全局模型。
• 在每个客户端上应用模型融合过程，将本地和全局嵌入结合，以提升表示质量。
• 该框架与任何依赖实体嵌入的知识图谱嵌入方法兼容，例如 TransE、RotatE 或 DistMult。
• 对局部训练轮次和批量大小等超参数进行调优，以在联邦设置下平衡收敛速度与模型性能。

实验结果

研究问题

• RQ1 在客户端之间不共享三元组的联邦设置下，知识图谱补全性能是否能够得到提升？
• RQ2 FedE 的性能与在单一知识图谱上训练或对所有数据进行集中聚合的训练相比如何？
• RQ3 客户端计算（局部训练轮次、批量大小）对 FedE 的收敛性和性能有何影响？
• RQ4 联邦学习在多大程度上能保护数据隐私，同时仍能实现有效的知识图谱嵌入？
• RQ5 在客户端上进行的模型融合在多大程度上能进一步提升联邦设置中实体表示的质量？

主要发现

• 与仅在单个知识图谱上训练相比，FedE 显著提升了知识图谱补全性能，证明了跨客户端协作的价值。
• FedE 在相同基准数据集上的表现与集中式训练相当或更优，表明隐私保护的协作是有效的。
• 较小的局部训练轮次可提升模型性能但导致收敛更慢，表明训练效率与准确率之间存在权衡。
• 较大的局部批量大小可提升性能，但也会降低收敛速度，表明需要进行超参数调优。
• 客户端上的模型融合过程通过结合本地和全局嵌入，提升了表示质量，从而改善了 Hits@10 的得分。
• 该框架通过确保三元组或关系信息不会传输至服务器或其他客户端，有效保护了数据隐私。