[논문 리뷰] Meta-Learning Based Knowledge Extrapolation for Knowledge Graphs in the Federated Setting

Mingyang Chen, Wen Zhang외 5명|arXiv (Cornell University)|2022. 05. 10.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 피어드 지식 그래프에서 지식 외삽을 위한 메타러닝 기반의 그래프 신경망 프레임워크인 MaKEr를 제안한다. 이는 새로운 엔티티와 관계에 대해 제로샷 임베딩을 가능하게 하며, 기존 지식 그래프에서 생성된 합성 작업에 대해 메타학습함으로써 관계 및 엔티티 특징 표현을 사용하여 일반화 능력을 습득한다. 관계 위치 그래프와 GNN 기반 인코딩을 통해, MaKEr는 볼 수 없는 구성 요소에 대해 인도티브 및 전통적인 KGE 기준보다 최대 2.11배 높은 MRR 성능을 달성한다. u_both 트리플에서 성능을 향상시킨다.

ABSTRACT

We study the knowledge extrapolation problem to embed new components (i.e., entities and relations) that come with emerging knowledge graphs (KGs) in the federated setting. In this problem, a model trained on an existing KG needs to embed an emerging KG with unseen entities and relations. To solve this problem, we introduce the meta-learning setting, where a set of tasks are sampled on the existing KG to mimic the link prediction task on the emerging KG. Based on sampled tasks, we meta-train a graph neural network framework that can construct features for unseen components based on structural information and output embeddings for them. Experimental results show that our proposed method can effectively embed unseen components and outperforms models that consider inductive settings for KGs and baselines that directly use conventional KG embedding methods.

연구 동기 및 목표

• 데이터가 분산되어 있고 프라이버시를 보장해야 하는 피어드 러닝 환경에서 새로운 지식 그래프에서 볼 수 없는 엔티티와 관계를 임베딩하는 데 도전하는 것.
• 학습 후 새로운 엔티티나 관계에 일반화할 수 없는 기존 KGE 모델의 한계를 극복하는 것.
• 피어드 환경에서 지원 트리플의 구조적 정보만을 사용하여 볼 수 없는 구성 요소에 대해 지식을 외삽할 수 있는 모델을 설계하는 것.
• 기존 지식 그래프와 새로운 지식 그래프의 데이터 공유나 통합 없이도 효과적인 링크 예측을 가능하게 하는 것.

제안 방법

• 기존 지식 그래프에서 샘플링된 작업을 통해 새로운 지식 그래프에서 볼 수 없는 구성 요소가 포함된 링크 예측을 모방하는 메타러닝 문제로 지식 외삽 작업을 정식화한다.
• 관계 간의 상대적 위치 관계를 캡처하고 관계 수준의 특징 표현을 생성하기 위해 관계 위치 그래프(RPG)를 구축한다.
• 엔티티 연결성과 이웃 구조를 인코딩하는 엔티티 특징 표현 모듈을 설계하여 특징 학습을 지원한다.
• 관계 및 엔티티 특징을 그래프 신경망(GNN)에 통합하여 볼 수 있는 구성 요소와 볼 수 없는 구성 요소를 함께 인코딩하여 일반화 가능한 임베딩을 생성한다.
• 합성 작업의 분포에서 GNN 프레임워크를 메타학습하여 추론 시 볼 수 없는 엔티티와 관계에 일반화할 수 있는 능력을 습득한다.
• 각 작업이 지원 트리플과 쿼리 트리플로 구성되는 다중 작업 학습 목표를 사용하여, 제로샷 일반화를 위한 인도티브 편향을 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 고정된 엔티티와 관계 집합에서 학습된 지식 그래프 임베딩 모델이 새로운 지식 그래프에서 볼 수 없는 엔티티와 관계로 일반화할 수 있는가?
• RQ2 원시 데이터 공유나 지식 그래프 통합 없이도 피어드 환경에서 볼 수 없는 구성 요소를 어떻게 임베딩할 수 있는가?
• RQ3 볼 수 없는 구성 요소에서 효과적인 제로샷 지식 외삽을 위해 필수적인 아키텍처 구성 요소는 무엇인가?
• RQ4 메타러닝이 새로운 구성 요소가 포함된 새로운 지식 그래프에서 링크 예측의 일반화 과제를 효과적으로 시뮬레이션할 수 있는가?

주요 결과

• MaKEr는 기준 모델 대비 u_both 트리플(볼 수 없는 엔티티와 관계)에서 MRR 성능을 2.11배 향상시키고 Hits@10 성능을 1.82배 향상시켰다.
• u_rel 트리플(볼 수 없는 관계만 포함)에서 MRR 성능을 0.56배 향상시키고 Hits@10 성능을 1.02배 향상시켜 볼 수 없는 관계에 대한 강력한 일반화 능력을 입증했다.
• 제거 실험 결과, 메타러닝 설정을 제거하면 성능 저하가 가장 심각했으며(MRR: 50.31 → 38.83), 이는 메타러닝이 일반화에 핵심적인 역할을 한다는 것을 확인한다.
• GNN 모듈의 제거로 MRR 성능이 38.83로 떨어지며 성능 저하가 발생함을 확인했으며, 이는 특징의 공동 인코딩이 효과적인 외삽을 위해 필수적임을 시사한다.
• t-SNE 시각화 결과, MaKEr가 볼 수 없는 엔티티에 대해 의미적으로 타당하고 유형 기반으로 일관된 클러스터를 생성하는 반면, Asmp-KGE는 엔티티 유형을 분리하지 못함을 확인했다.
• RPG 기반의 관계 특징 표현은 벡터 공간에서 의미적으로 유사한 볼 수 없는 관계와 볼 수 있는 관계의 임베딩이 가까이 위치함으로써 의미적 유사성을 잘 캡처하고 있음을 확인했다.