[논문 리뷰] Few-Shot Knowledge Graph Completion

Chuxu Zhang, Huaxiu Yao외 4명|arXiv (Cornell University)|2019. 11. 26.

Topic Modeling참고 문헌 30인용 수 6

한 줄 요약

이 논문은 지식 그래프 보완을 위한 소수의 예시로 학습하는 관계 학습 모델인 FSRL을 제안한다. 이 모델은 관계 인식 허접한 이웃 인코더, 참조 집합 집약을 위한 순환 오토인코더, 그리고 소수의 레이블 예시로 누락된 사실을 추론하는 매칭 네트워크를 활용한다. 실험 결과, 두 개의 공개 데이터셋에서 최신 기준(SOTA) 성능을 기록하며 Hits@1, Hits@5, Hits@10, MRR에서 뚜렷한 승리를 거두었다.

ABSTRACT

Knowledge graphs (KGs) serve as useful resources for various natural language processing applications. Previous KG completion approaches require a large number of training instances (i.e., head-tail entity pairs) for every relation. The real case is that for most of the relations, very few entity pairs are available. Existing work of one-shot learning limits method generalizability for few-shot scenarios and does not fully use the supervisory information; however, few-shot KG completion has not been well studied yet. In this work, we propose a novel few-shot relation learning model (FSRL) that aims at discovering facts of new relations with few-shot references. FSRL can effectively capture knowledge from heterogeneous graph structure, aggregate representations of few-shot references, and match similar entity pairs of reference set for every relation. Extensive experiments on two public datasets demonstrate that FSRL outperforms the state-of-the-art.

연구 동기 및 목표

• 관계당 소수의 레이블된 엔티티 쌍만 존재하는 현실적인 상황에서 지식 그래프 보완 문제를 해결한다.
• 기존의 일회성 및 소수 학습 방법이 이질적 이웃의 영향이나 소수 학습 참조 간 상호작용을 모델링하지 못하는 한계를 극복한다.
• 엔티티 표현, 참조 집합 집약, 신규 관계에 대한 매칭을 동시에 최적화하는 통합 프레임워크를 설계한다.
• 새로운 관계에 대해 희소한 참조 예시만으로도 제로샷 미세조정 추론을 가능하게 한다.
• 저자원 관계 학습 환경에서 일반화 능력과 강인성을 향상시킨다.

제안 방법

• 관계 인식 이질적 이웃 인코더를 제안하여 관계 유형과 구조적 관련성을 기반으로 이웃에 가중치를 할당하는 어텐션 메커니즘을 사용하여 다양한 이웃의 영향을 포괄한다.
• 소수 학습 참조 엔티티 쌍 간의 상호작용을 모델링하여 통합적이고 표현력 있는 참조 임베딩을 생성하는 순환 오토인코더 집약 네트워크를 도입한다.
• LSTM 기반 유사도 함수를 갖춘 매칭 네트워크를 활용하여 쿼리 엔티티 쌍을 집약된 참조 임베딩과 비교하여 관계 예측을 수행한다.
• 모든 구성 요소를 종합적으로 최적화하기 위해 경사 하강법 기반 메타학습을 사용하여 새로운 관계에 대한 빠른 적응이 가능하며, 미세조정 없이도 가능하다.
• 다양한 이웃과 참조 쌍에 대해 중요도를 동적으로 할당하는 어텐션 메커니즘을 활용하여 표현 품질을 향상시킨다.
• 통합 손실 함수를 사용하여 이웃 인코더, 집약 네트워크, 매칭 네트워크를 종합적으로 훈련하여 종단 간 최적화를 달성한다.

실험 결과

연구 질문

• RQ1 관계당 소수의 레이블된 엔티티 쌍만 존재할 때 소수 학습 관계 학습 모델이 지식 그래프 보완에 효과적으로 기여할 수 있는가?
• RQ2 이질적 이웃 영향을 모델링함으로써 저자원 환경에서 엔티티 표현이 어떻게 향상되는가?
• RQ3 소수 학습 참조 간 상호작용이 참조 집합 임베딩의 품질에 어느 정도 기여하는가?
• RQ4 학습된 유사도 계산을 갖춘 순환 매칭 네트워크가 소수 학습 지식 그래프 보완에서 단순 내적곱 매칭보다 우수한가?
• RQ5 다양한 소수 학습 크기(K)에 대해 제안된 모델의 안정성과 일반화 능력은 어떠한가?

주요 결과

• FSRL은 두 개의 공개 데이터셋에서 SOTA 성능을 기록하였으며, NELL에서 Hits@1이 0.345, Wikidata에서 0.211로 GMatching 및 기타 기준 모델을 뚜렷이 앞서 간다.
• 제거 실험 결과, 관계 인식 이질적 이웃 인코더를 제거할 경우 Hits@1이 13.4%p 감소함을 확인하여, 표현 학습에서의 핵심적 역할을 입증한다.
• 순환 오토인코더 집약 네트워크를 사용할 경우 평균 풀링 대비 Hits@1에서 12.5% 향상되어 참조 간 상호작용을 모델링하는 것이 가치 있음을 보여준다.
• LSTM 기반 매칭 네트워크를 제거할 경우 Hits@1이 12.9%p 감소하여, 복잡한 유사도를 포착하는 데서 내적곱 매칭보다 우월함을 확인한다.
• 소수 학습 크기 K가 증가함에 따라 FSRL은 GMatching 대비 일관되게 높은 성능을 유지하여 강인성과 확장성을 입증한다.
• 시각화 결과, FSRL은 GMatching보다 양성 및 부정성 후보 쌍의 임베딩을 더 잘 분리함을 확인하여 뛰어난 구분 능력을 가짐을 시사한다.