[논문 리뷰] Hierarchical Relational Learning for Few-Shot Knowledge Graph Completion

Han Wu, Jie Yin외 2명|arXiv (Cornell University)|2022. 09. 02.

Advanced Graph Neural Networks인용 수 9

한 줄 요약

이 논문은 대상 트리플릿에 대한 진위 문맥을 구분함으로써 문맥 수준의 관계 정보를 모델링하고, 트리플릿 수준의 상호작용을 허브터전스터 기반 메타관계 학습기로 모델링하며, MTransD를 통해 실체 수준의 정교화를 수행하는 계층적 관계 학습 프레임워크인 HiRe를 제안한다. HiRe는 대조 학습, 트랜스포머 기반 메타관계 학습기, MTransD를 통합하여 소수의 예시에서 다수 수준의 관계적 종속성을 효과적으로 포착함으로써 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Knowledge graphs (KGs) are powerful in terms of their inference abilities, but are also notorious for their incompleteness and long-tail distribution of relations. To address these challenges and expand the coverage of KGs, few-shot KG completion aims to make predictions for triplets involving novel relations when only a few training triplets are provided as reference. Previous methods have focused on designing local neighbor aggregators to learn entity-level information and/or imposing a potentially invalid sequential dependency assumption at the triplet level to learn meta relation information. However, pairwise triplet-level interactions and context-level relational information have been largely overlooked for learning meta representations of few-shot relations. In this paper, we propose a hierarchical relational learning method (HiRe) for few-shot KG completion. By jointly capturing three levels of relational information (entity-level, triplet-level and context-level), HiRe can effectively learn and refine meta representations of few-shot relations, and thus generalize well to new unseen relations. Extensive experiments on benchmark datasets validate the superiority of HiRe over state-of-the-art methods. The code can be found in https://github.com/alexhw15/HiRe.git.

연구 동기 및 목표

• 기존의 소수의 예시 지식 그래프 완성 방법들이 문맥 수준 및 트리플릿 수준의 관계 정보를 간과하는 데서 기인하는 한계를 해결하기 위해.
• 실체 수준, 트리플릿 수준, 문맥 수준의 세 가지 수준의 관계 정보를 공동으로 모델링하여 새로운 관계에 대한 일반화 능력을 향상시키기 위해.
• 이전 방법들이 순차적 종속성 가정을 갖는 데서 비롯되는 문제를 해결하기 위해 참조 트리플릿 간의 순열 불변성 있는 상호작용을 모델링하기 위해.
• 문맥화된 트리플릿에 대한 대조 학습을 통해 소수의 예시 관계에 대한 메타 표현 학습을 향상시키기 위해.
• 제거 실험과 하이퍼파ram터 민감도 분석을 통해 각 구성 요소의 효과성을 검증하기 위해.

제안 방법

• HiRe는 각 대상 트리플릿에 대해 진위 문맥을 구별함으로써 문맥 수준의 관계 정보를 모델링하기 위해 대조 학습 기반 메커니즘을 활용한다.
• 참조 트리플릿 간의 쌍별 트리플릿 수준 상호작용을 포착하기 위해 트랜스포머 기반 모듈을 사용함으로써 순열 불변성 있는 메타관계 학습을 가능하게 한다.
• 실체 수준의 관계 학습은 MTransD를 통해 정교화되며, 이는 실체 및 관계 임베딩를 제약하면서도 실체 및 관계의 다양성을 고려한다.
• 모델을 각 메타작업에서 빠르게 새로운 관계에 적응시킬 수 있도록 통합 프레임워크 내에서 MAML 기반 학습 전략을 채택한다.
• 전반적인 손실 함수는 하이퍼파ram터 λ로 균형을 맞춘 마진 손실과 대조 손실을 조합하여 효과적인 감독을 보장한다.
• 모델은 모든 세 수준의 관계 학습을 통합하는 통합 프레임워크를 통해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 문맥 수준, 트리플릿 수준, 실체 수준의 관계 정보를 공동으로 모델링하면 소수의 예시 지식 그래프 완성 성능이 향상되는가?
• RQ2 소수의 예시 참조 트리플릿 간의 순열 불변성 있는 쌍별 상호작용을 포착하기 위해 트랜스포머 기반 접근 방식은 얼마나 효과적인가?
• RQ3 트리플릿 문맥에 대한 대조 학습이 새로운 관계에 대한 메타 표현 학습을 얼마나 향상시키는가?
• RQ4 HiRe의 개별 구성 요소인 문맥 수준, 트리플릿 수준, 실체 수준 학습은 전체 성능에 얼마나 기여하는가?
• RQ5 강건한 성능을 확보하기 위한 하이퍼파ram터 N(가짜 문맥 수)과 λ(손실 균형)의 최적 설정은 무엇인가?

주요 결과

• HiRe는 두 개의 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 방법을 능가하며, 소수의 예시 지식 그래프 완성에서 뛰어난 일반화 능력을 보여준다.
• 제거 실험 결과, MRL 구성 요소(트랜스포머 기반 트리플릿 수준 학습)를 제거하면 3-shot에서 MRR가 4% 감소하고 5-shot에서는 5.4% 감소함을 확인하여 그 핵심적 역할을 입증한다.
• 문맥 수준의 대조 학습을 제거할 경우 성능 저하가 심각하게 발생함을 확인하여, 소수의 예시 학습에서 문맥 정보의 중요성을 재확인한다.
• MTransD를 TransE로 대체할 경우 성능 저하가 심각하게 발생함을 확인하여, MTransD를 통한 실체 수준 정교화의 必要성 을 확인한다.
• 가짜 문맥 수 N의 최적 값은 1이며, N을 1을 초과해 증가시킬 경우 대조 손실에 대한 조기 수렴 현상으로 성능 저하가 발생한다.
• 최적의 하이퍼파라미터 λ는 0.05이며, 이는 마진 손실과 대조 손실을 효과적으로 균형 잡는 데 기여하며, λ가 너무 클 경우 성능 저하가 발생한다.