[논문 리뷰] One-Shot Relational Learning for Knowledge Graphs

Wenhan Xiong, Mo Yu외 3명|arXiv (Cornell University)|2018. 08. 27.

Advanced Graph Neural Networks참고 문헌 36인용 수 17

한 줄 요약

이 논문은 지식 그래프를 위한 one-shot 관련 학습 프레임워크를 제안하며, 관계당 하나의 훈련 트리플만 사용하여 새로운 사실을 예측한다. 엔티티 임베딩과 한 단계 이웃 구조 기반의 학습 가능한 매칭 메트릭, 그리고 순환 매칭 프로세서를 조합함으로써, 재학습 없이도 전통적인 임베딩 방법보다 뚜렷한 성능 향상을 달성한다.

ABSTRACT

Knowledge graphs (KGs) are the key components of various natural language processing applications. To further expand KGs' coverage, previous studies on knowledge graph completion usually require a large number of training instances for each relation. However, we observe that long-tail relations are actually more common in KGs and those newly added relations often do not have many known triples for training. In this work, we aim at predicting new facts under a challenging setting where only one training instance is available. We propose a one-shot relational learning framework, which utilizes the knowledge extracted by embedding models and learns a matching metric by considering both the learned embeddings and one-hop graph structures. Empirically, our model yields considerable performance improvements over existing embedding models, and also eliminates the need of re-training the embedding models when dealing with newly added relations.

연구 동기 및 목표

• 매우 적은 훈련 트리플을 가진 장꼬리 또는 새로 추가된 관계에 대해 지식 그래프를 보완하는 도전에 대응한다.
• 관계당 대량의 훈련 데이터가 필요한 기존 임베딩 모델의 한계를 극복한다.
• 재학습이나 미세조정 없이도 새로운 관계에 일반화할 수 있는 프레임워크를 개발한다.
• 로컬 그래프 구조와 학습 가능한 메트릭을 활용하여 소수의 샘플 설정에서의 링크 예측 성능을 향상시킨다.

제안 방법

• 엔티티의 한 단계 이웃을 캡처하기 위해 순열 불변성의 이웃 인코더를 제안하여 국소적인 구조 정보를 포착한다.
• 순환 네트워크를 사용한 미분 가능 매칭 프로세서를 도입하여 엔티티 쌍 간의 다단계 매칭을 수행한다.
• 엔티티 임베딩과 구조적 인코딩을 조합하여 유사도 점수를 계산하는 학습 가능한 메트릭을 설계한다.
• 이웃 표현을 정규화하기 위해 스케일링 인자 $1/\mathcal{N}_e$ 를 사용하여 안정성을 향상시킨다.
• 매칭 함수를 최적화하기 위해 대조 손실을 사용하여 모델을 엔드 투 엔드로 훈련한다.
• 쿼리 트리플을 하나의 예시로 구성된 서포트 세트와 매칭시켜 one-shot 링크 예측에 모델을 적용한다.

실험 결과

연구 질문

• RQ1 하나의 훈련 예외만으로도 새로운 또는 장꼬리 관계에 일반화할 수 있는 관련 학습 모델이 가능한가?
• RQ2 엔티티 임베딩과 국소 그래프 구조를 조합한 학습 가능한 매칭 메트릭이 소수의 샘플 설정에서 얼마나 효과적인가?
• RQ3 한 단계 이웃 정보를 통합함으로써 임베딩 전용 모델 대비 일반화 성능이 향상되는가?
• RQ4 새로운 관계가 도입될 때 재학습 없이도 높은 성능을 유지할 수 있는가?

주요 결과

• 제안된 모델은 NELL-One에서 17.1% MRR, Wiki-One에서 20.0% MRR를 기록하며, 최고의 베이스라인 임베딩 모델보다 각각 7.8%와 12.8% 높은 성능을 달성한다.
• 모든 구성 요소(이웃 인코더, 매칭 프로세서, 스케일링 인자)를 갖춘 모델은 NELL-One 테스트 세트에서 Hits@10이 0.313을 기록한다.
• 매칭 프로세서를 제거하면 Hits@10가 0.266로 떨어지며, 이는 매칭 프로세서가 유사도 매칭을 정교화하는 데 핵심적인 역할을 함을 시사한다.
• 스케일링 인자 없이 이웃 인코더만 사용할 경우 간단한 임베딩 기반 매칭보다 성능이 열 劣하므로, 정규화가 안정성 확보에 필수적임을 보여준다.
• 100개 미만의 후보 엔티티를 가진 관계는 더 정확하게 예측되며, 일부 경우에서 표준 훈련 베이스라인을 초월한다.
• 3,000개 이상의 후보 엔티티를 가진 관계에서는 성능 저하가 발생하여, 매우 모호하거나 희박한 관계에 대한 여전한 과제임을 시사한다.