[논문 리뷰] FedE: Embedding Knowledge Graphs in Federated Setting

Mingyang Chen, Wen Zhang외 3명|arXiv (Cornell University)|2020. 10. 24.

Advanced Graph Neural Networks참고 문헌 31인용 수 8

한 줄 요약

FedE는 원시 삼중항을 공유하지 않고도 개인정보가 민감한 여러 클라이언트 간에 협업적인 지식 그래프 보완을 가능하게 하는 연합 지식 그래프 임베딩 프레임워크이다. 중앙 서버에서 로컬로 훈련된 엔티티 임베딩을 집계함으로써 데이터 프라이버시를 유지하면서도, 중심화된 훈련과 유사한 성능을 달성하며 기준 데이터셋에서 단일 지식 그래프 훈련보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

Knowledge graphs (KGs) consisting of triples are always incomplete, so it's important to do Knowledge Graph Completion (KGC) by predicting missing triples. Multi-Source KG is a common situation in real KG applications which can be viewed as a set of related individual KGs where different KGs contains relations of different aspects of entities. It's intuitive that, for each individual KG, its completion could be greatly contributed by the triples defined and labeled in other ones. However, because of the data privacy and sensitivity, a set of relevant knowledge graphs cannot complement each other's KGC by just collecting data from different knowledge graphs together. Therefore, in this paper, we introduce federated setting to keep their privacy without triple transferring between KGs and apply it in embedding knowledge graph, a typical method which have proven effective for KGC in the past decade. We propose a Federated Knowledge Graph Embedding framework FedE, focusing on learning knowledge graph embeddings by aggregating locally-computed updates. Finally, we conduct extensive experiments on datasets derived from KGE benchmark datasets and results show the effectiveness of our proposed FedE.

연구 동기 및 목표

• 원천이 다양한 환경에서 데이터 프라이버시가 중앙집중적 데이터 수집을 금지하는 지식 그래프의 불완전성 문제를 해결한다.
• 원시 삼중항이나 민감한 관계를 폭 lộ하지 않고도 여러 클라이언트 간에 협업적인 지식 그래프 보완을 가능하게 한다.
• 기존의 지식 그래프 임베딩 방법과 연합 학습 환경에서 통합 가능한 일반화 가능한 프레임워크를 개발한다.
• 로컬에서 훈련하고 원시 삼중항이나 관계 정보는 공유하지 않고 엔티티 임베딩만 집계함으로써 데이터 프라이버시를 확보한다.
• 기준 데이터셋에서 중심화된 훈련과 동등하거나 그 이상의 성능을 달성할 수 있음을 입증한다.

제안 방법

• 연합 지식 그래프 임베딩(FedE)는 각 클라이언트가 자체 지식 그래프와 로컬 삼중항, 관계를 유지하는 서버-클라이언트 아키텍처를 사용한다.
• 클라이언트는 자신의 데이터를 사용해 지식 그래프 임베딩 모델을 로컬에서 훈련하며, 삼중항을 공유하지 않고 엔티티 임베딩만 업데이트한다.
• 중앙 서버는 FedAvg 방식의 평균화를 사용해 로컬로 계산된 엔티티 임베딩 업데이트를 집계하여 글로벌 모델을 업데이트한다.
• 각 클라이언트에서 로컬 및 글로벌 임베딩을 결합하는 모델 융합 절차를 적용하여 표현 품질을 향상시킨다.
• TransE, RotatE, DistMult와 같이 엔티티 임베딩에 의존하는 모든 KGE 방법과 호환된다.
• 수렴 속도와 모델 성능의 균형을 맞추기 위해 로컬 에포크 수와 배치 크기와 같은 하이퍼파라미터를 조정한다.

실험 결과

연구 질문

• RQ1 클라이언트 간에 삼중항을 공유하지 않는 연합 환경에서 지식 그래프 보완 성능을 향상시킬 수 있는가?
• RQ2 FedE의 성능은 단일 지식 그래프에서의 훈련과 모든 데이터를 중심화해 집계한 경우에 비해 어떻게 비교되는가?
• RQ3 클라이언트의 계산 능력(로컬 에포크 수, 배치 크기)이 FedE의 수렴 및 성능에 어떤 영향을 미치는가?
• RQ4 효과적인 지식 그래프 임베딩을 가능하게 하면서도 얼마나 잘 데이터 프라이버시를 유지할 수 있는가?
• RQ5 클라이언트에서의 모델 융합 절차가 연합 환경에서 엔티티 표현 품질을 더욱 향상시킬 수 있는가?

주요 결과

• FedE는 단순히 개별 지식 그래프에서만 훈련하는 것보다 지식 그래프 보완 성능을 크게 향상시켜, 클라이언트 간 협업의 가치를 입증한다.
• FedE는 동일한 기준 데이터셋에서 중심화된 훈련과 유사하거나 그 이상의 성능을 달성하여, 프라이버시 보장 협업이 효과적임을 보여준다.
• 작은 로컬 에포크 수는 더 나은 모델 성능를 가져오지만 수렴 속도는 느려지므로, 훈련 효율성과 정확성 사이의 상충 관계를 시사한다.
• 큰 로컬 배치 크기는 성능을 향상시키지만 수렴 속도도 감소시켜, 하이퍼파라미터 튜닝의 필요성을 암시한다.
• 클라이언트에서의 모델 융합 절차는 로컬 및 글로벌 임베딩을 결합함으로써 표현 품질을 향상시키고, Hits@10 점수 향상에 기여한다.
• 삼중항이나 관계 정보가 서버나 다른 클라이언트로 전송되지 않도록 함으로써, 이 프레임워크는 효과적으로 데이터 프라이버시를 보존한다.