[논문 리뷰] Meta Relational Learning for Few-Shot Link Prediction in Knowledge Graphs

Mingyang Chen, Wen Zhang외 3명|arXiv (Cornell University)|2019. 09. 04.

Advanced Graph Neural Networks참고 문헌 25인용 수 11

한 줄 요약

이 논문은 지식 그래프에서 소수의 트리플만 존재하는 경우(소수 샘플 설정)에 링크 예측을 위한 새로운 메타러닝 프레임워크인 메타 관계 학습(MetaR)을 제안한다. 관계별 메타 정보—공유 지식 전달을 위한 관계 메타와 빠른 적응을 위한 기울기 메타—를 활용하여, 배경 지식 그래프가 없는 상태에서 기존의 GMatching과 같은 기존 방법들을 능가하는 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

Link prediction is an important way to complete knowledge graphs (KGs), while embedding-based methods, effective for link prediction in KGs, perform poorly on relations that only have a few associative triples. In this work, we propose a Meta Relational Learning (MetaR) framework to do the common but challenging few-shot link prediction in KGs, namely predicting new triples about a relation by only observing a few associative triples. We solve few-shot link prediction by focusing on transferring relation-specific meta information to make model learn the most important knowledge and learn faster, corresponding to relation meta and gradient meta respectively in MetaR. Empirically, our model achieves state-of-the-art results on few-shot link prediction KG benchmarks.

연구 동기 및 목표

• 주어진 관계에 대해 소수의 트리플만 이용 가능한 경우(소수 샘플 설정) 지식 그래프에서 링크 예측 문제를 해결하는 것.
• 관계별 메타 지식을 전달하여 저자료 환경에서 모델의 일반화 능력과 학습 속도를 향상시키는 것.
• 외부 배경 지식 그래프에 의존하지 않는 강건한 메타러닝 프레임워크를 설계하는 것.
• 엔티티 희소성과 학습 태스크 수가 소수 샘플 링크 예측 성능에 미치는 영향을 조사하는 것.

제안 방법

• MetaR는 두 가지 종류의 관계별 메타 정보를 도입한다: 지원 트리플에서 고차원 관계 패턴을 캡처하는 관계 메타와, 신속한 적응을 위한 손실 기울기를 인코딩하는 기울기 메타.
• 모델은 소수의 관측 트리플(지원 세트)에서 관계 메타를 추출하기 위해 관계 학습기(relational learner)를 사용하며, 이를 바탕으로 질의 트리플의 꼬리 엔티티를 예측한다.
• 기울기 메타는 지원 세트에서 역전파를 통해 계산되며, 추론 과정에서 관계 메타를 신속하게 미세조정하는 데 사용되어 신속한 적응을 가능하게 한다.
• 프레임워크는 각 에피소드가 고유한 관계와 지원/질의 분할을 가진 소수 샘플 링크 예측 태스크인 메타러닝 파라다임을 사용해 엔드 투 엔드로 훈련된다.
• MetaR는 배경 지식 그래프가 필요 없어, 이러한 그래프가 가용하지 않은 실세계 시나리오에서 더 강건하다.
• 점수 함수는 학습된 관계 메타를 사용해 트리플의 가능성을 계산하며, 추론 과정에서 메타 정보에 기반해 엔티티 임베딩을 업데이트한다.

실험 결과

연구 질문

• RQ1 관계별 메타 정보가 지식 그래프에서 소수 샘플 링크 예측 성능을 크게 향상시킬 수 있는가?
• RQ2 관계 메타와 기울기 메타가 저자료 환경에서 모델 성능에 각각 어떤 기여를 하는가?
• RQ3 배경 지식 그래프가 없는 것이 소수 샘플 링크 예측 모델의 강건성에 해로운가, 혹은 유리한가?
• RQ4 엔티티 희소성과 학습 태스크 수는 MetaR의 성능에 어떤 영향을 미치는가?

주요 결과

• MetaR는 소수 샘플 링크 예측 벤치마크에서 최신 기술 성능(SOTA)을 달성하며, GMatching과 같은 기존 방법들을 능가한다.
• 절단 실험 결과, 기울기 메타를 제거하면 두 설정에서 각각 29.3%와 15% 성능 저하가 발생하고, 두 메타 구성 요소를 모두 제거하면 성능이 55%와 72% 감소하여 이들이 핵심적인 역할을 한다는 것을 입증한다.
• 관계 메타가 기울기 메타보다 더 크게 기여함을 확인하여, 이 설정에서는 공유 관계 패턴이 신속한 적응보다 더 큰 영향을 미친다.
• 성능은 엔티티 희소성에 매우 민감함: 예를 들어, 위키원(Wiki-One)에서 82.8%의 일괄 트리플 엔티티 비율을 가진 데이터셋은 사전 훈련된 엔티티 임베딩을 사용하지 않으면 모델 성능이 떨어진다.
• 학습 태스크 수를 늘릴수록 MetaR의 성능이 크게 향상됨: 예를 들어, NELL-One에서 배경 지식이 포함된 경우 성능은 51개 태스크일 때 0.279에서 321개 태스크일 때 0.401로 상승한다.
• 극도로 희소한 데이터셋에서는 사전 훈련된 엔티티 임베딩이 특히 유익하며, 단일 트리플 엔티티에서의 열악한 표현을 완화한다.