[論文レビュー] FedE: Embedding Knowledge Graphs in Federated Setting

Mingyang Chen, Wen Zhang+3 more|arXiv (Cornell University)|Oct 24, 2020

Advanced Graph Neural Networks参考文献 31被引用数 8

ひとこと要約

FedE は、プライバシーに配慮した複数のクライアント間で生データのトリプルを共有せずに、協働的な知識グラフ補完を可能にするフレームワークである。中央サーバー上でローカルに学習されたエンティティ埋め込みを集約することで、データプライバシーを保ちながら、集中学習と同等の性能を達成し、ベンチマークデータセットにおいて単一の知識グラフで学習する場合に比べ顕著に優れた性能を発揮する。

ABSTRACT

Knowledge graphs (KGs) consisting of triples are always incomplete, so it's important to do Knowledge Graph Completion (KGC) by predicting missing triples. Multi-Source KG is a common situation in real KG applications which can be viewed as a set of related individual KGs where different KGs contains relations of different aspects of entities. It's intuitive that, for each individual KG, its completion could be greatly contributed by the triples defined and labeled in other ones. However, because of the data privacy and sensitivity, a set of relevant knowledge graphs cannot complement each other's KGC by just collecting data from different knowledge graphs together. Therefore, in this paper, we introduce federated setting to keep their privacy without triple transferring between KGs and apply it in embedding knowledge graph, a typical method which have proven effective for KGC in the past decade. We propose a Federated Knowledge Graph Embedding framework FedE, focusing on learning knowledge graph embeddings by aggregating locally-computed updates. Finally, we conduct extensive experiments on datasets derived from KGE benchmark datasets and results show the effectiveness of our proposed FedE.

研究の動機と目的

• データプライバシーの制約により中央集積が不可能な複数ソース環境における知識グラフの不完全性という課題に対処すること。
• 生のトリプルや機密関係を露呈せずに、複数のクライアント間で協働的な知識グラフ補完を可能にすること。
• フェデレーテッドラーニング下で既存の知識グラフ埋め込み手法と統合可能な汎用性の高いフレームワークを開発すること。
• ローカルで学習を行い、生のトリプルや関係情報ではなくエンティティ埋め込みのみを集約することで、データプライバシーを確保すること。
• フェデレーテッド知識グラフ埋め込みが、ベンチマークデータセットにおいて集中学習と同等またはそれ以上の性能を達成できることを実証すること。

提案手法

• フェデレーテッド知識グラフ埋め込み（FedE）は、各クライアントが自らの知識グラフとローカルなトリプル・関係を保持するサーバー・クライアントアーキテクチャを採用する。
• クライアントは自らのデータを用いてローカルに知識グラフ埋め込みモデルを学習し、トリプルを共有せずにエンティティ埋め込みのみを更新する。
• 中央サーバーは、FedAvg方式の平均化を用いて、各クライアントから送信されたエンティティ埋め込みの更新を集約し、グローバルモデルを更新する。
• 各クライアントでローカルおよびグローバルな埋め込みを統合するモデルファージョン手順を適用し、表現品質を向上させる。
• 本フレームワークは、TransE や RotatE、DistMult などのエンティティ埋め込みに依存する任意の KGE メソッドと互換性を持つ。
• 収束速度とモデル性能のバランスを図るため、ローカルエポック数やバッチサイズなどのハイパーパrameter を最適化する。

実験結果

リサーチクエスチョン

• RQ1 クライアント間でトリプルを共有しないフェデレーテッド環境において、知識グラフ補完の性能を向上させることは可能か？
• RQ2 FedE の性能は、単一の知識グラフで学習する場合と、すべてのデータを集約した集中学習と比べてどうなるか？
• RQ3 クライアントの計算負荷（ローカルエポック数、バッチサイズ）は、FedE の収束性と性能にどのような影響を及えるか？
• RQ4 フェデレーテッドラーニングは、効果的な知識グラフ埋め込みを可能にする一方で、どの程度データプライバシーを保護できるか？
• RQ5 クライアントで実施するモデルファージョン手順は、フェデレーテッド環境におけるエンティティ表現の品質をさらに向上させることができるか？

主な発見

• FedE は、単独の知識グラフで学習する場合に比べ、顕著に知識グラフ補完の性能を向上させ、クライアント間の協働の価値を示している。
• FedE は、同じベンチマークデータセットにおいて集中学習と同等またはそれ以上の結果を達成しており、プライバシー保護型協働学習の有効性を示している。
• 小さなローカルエポック数は、より高いモデル性能をもたらすが収束が遅くなるため、効率性と正確性のトレードオフが生じている。
• 大きなローカルバッチサイズは性能を向上させるが、収束速度を低下させるため、ハイパーパrameter の最適化が不可欠である。
• クライアントでのモデルファージョン手順により、ローカルおよびグローバルな埋め込みを統合することで表現品質が向上し、Hits@10 スコアの向上に寄与している。
• 本フレームワークは、トリプルや関係情報がサーバーや他のクライアントに転送されないことを保証することで、効果的にデータプライバシーを保護している。