[논문 리뷰] Tackling Long-Tailed Relations and Uncommon Entities in Knowledge Graph Completion

Zihao Wang, Kwun Ping Lai외 3명|arXiv (Cornell University)|2019. 09. 25.

Advanced Graph Neural Networks인용 수 8

한 줄 요약

이 논문은 텍스트 기반 설명을 활용하여 장꼬리 관계와 희귀 엔티티를 동시에 다루는 소수 샘플 지식 그래프 완성에 대한 메타학습 프레임워크를 제안한다. 관계별 특성 추출 모듈과 삼중항 생성을 위한 변동형 오토인코더를 도입하여, DBPedia 및 Wikidata와 같은 실제 지식 그래프에서 희귀 관계와 엔티티에서의 성능을 크게 향상시킨다.

ABSTRACT

For large-scale knowledge graphs (KGs), recent research has been focusing on the large proportion of infrequent relations which have been ignored by previous studies. For example few-shot learning paradigm for relations has been investigated. In this work, we further advocate that handling uncommon entities is inevitable when dealing with infrequent relations. Therefore, we propose a meta-learning framework that aims at handling infrequent relations with few-shot learning and uncommon entities by using textual descriptions. We design a novel model to better extract key information from textual descriptions. Besides, we also develop a novel generative model in our framework to enhance the performance by generating extra triplets during the training stage. Experiments are conducted on two datasets from real-world KGs, and the results show that our framework outperforms previous methods when dealing with infrequent relations and their accompanying uncommon entities.

연구 동기 및 목표

• 희귀 관계와 희귀 엔티티에 대한 지식 그래프 완성 문제를 해결하고자 하며, 이는 이전 연구에서 자주 忽视되는 문제이다.
• 관계와 엔티티 모두가 희귀하고 데이터가 부족한 소수 샘플 학습 문제로 문제를 재정의하고자 한다.
• 구조적 정보 외에 텍스트 기반 설명을 활용하여 희귀 엔티티의 표현 학습을 향상시키고자 한다.
• 생성 모델을 통한 데이터 증강을 통해 모델의 일반화 능력을 향상시키고자 한다.
• 희귀 관계와 엔티티에 대한 더 나은 소수 샘플 일반화를 위해 관계별 특성과 엔티티 설명을 통합적으로 모델링하는 통합 프레임워크를 개발하고자 한다.

제안 방법

• 엔티티의 텍스트 기반 설명에서 관계별 특성을 추출할 수 있는 새로운 기술 인코더로, 엔티티가 여러 관계에 참여하더라도 작동한다.
• 조건부 VAE 기반의 삼중항 생성기(TCVAE)로, 소수 샘플 환경에서의 데이터 부족 문제를 완화하기 위해 합성된 훈련 삼중항을 생성한다.
• 새로운 알려지지 않은 관계와 엔티티에 빠르게 적응할 수 있도록 초기화를 학습하는 Reptile 최적화를 사용한 메타학습 프레임워크.
• 설명 인코더와 삼중항 생성기를 함께 훈련시켜 표현 품질과 데이터 효율성을 향상시킨다.
• 엔티티와 관계의 설명을 입력 특성으로 사용하고, 각 관계에 대해 관련 정보에 집중할 수 있도록 어텐션 메커니즘을 적용한다.
• 실제 지식 그래프인 DBPedia와 Wikidata에서 일장, 사장 설정을 사용하여 희귀 관계 및 엔티티 시나리오를 시뮬레이션하여 평가한다.

실험 결과

연구 질문

• RQ1 장꼬리 관계와 희귀 엔티티를 동시에 개선할 수 있는 지식 그래프 완성 방법은 무엇인가?
• RQ2 엔티티가 여러 관계에 참여할 때도 엔티티 설명에서 관계별 정보를 효과적으로 추출할 수 있는가?
• RQ3 합성 삼중항 생성을 통한 데이터 증강이 지식 그래프 완성에서 소수 샘플 일반화에 기여하는가?
• RQ4 메타학습과 기술 기반 모델링의 통합이 희귀 관계 및 엔티티에서의 성능에 어떤 영향을 미치는가?
• RQ5 과적합을 방지하면서 성능 향상을 위해 최적의 생성 삼중항 수는 얼마인가?

주요 결과

• 제안된 프레임워크는 일장 및 사장 설정에서 WDtext 및 DBPtext 데이터셋 모두에서 모든 베이스라인보다 뛰어난 성능을 보였다.
• DBPtext에서 128개의 생성 삼중항을 사용할 경우 MRR가 0.330에 도달하여 기존 베이스라인보다 뚜렷하게 뛰어났다.
• 일장 설정에서 WDtext에서는 MRR가 0.247, DBPtext에서는 64개의 생성 삼중항을 사용해 MRR가 0.304를 기록했다.
• 절단 실험을 통해 특성 추출 모듈과 삼중항 생성이 모두 필수적임을 확인했으며, 둘 중 하나를 제거하면 성능이 크게 떨어졌다.
• 최적의 삼중항 생성 수는 데이터셋에 따라 달라졌다: WDtext는 8개, DBPtext는 128개로, 이는 설명의 길이와 복잡성이 생성 전략에 영향을 준다는 것을 시사한다.
• 더 길고 복잡한 설명(예: DBPtext)에서는 짧은 설명(예: WDtext)보다 더 뛰어난 성능을 보였으며, 이는 텍스트 복잡성에 대한 강건성을 시사한다.