[논문 리뷰] Jointly Learning Entity and Relation Representations for Entity Alignment

Yuting Wu, Xiao Liu외 3명|arXiv (Cornell University)|2019. 09. 20.

Advanced Graph Neural Networks참고 문헌 27인용 수 9

한 줄 요약

이 논문은 사전에 정렬된 관계가 필요 없이 다국어 지식 그래프 정렬을 위한 엔티티와 관계 표현을 공동으로 학습하는 새로운 그래프 신경망 프레임워크인 HGCN-JR을 제안한다. 관계 표현을 엔티티 표현에서 근사하고, 게이팅된 GCN를 통해 반복적으로 공동 표현을 정교화함으로써, 세 개의 실세계 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 기존 방법들보다 엔티티 및 관계 정렬 모두에서 뚜렷한 승리를 거두었다.

ABSTRACT

Entity alignment is a viable means for integrating heterogeneous knowledge among different knowledge graphs (KGs). Recent developments in the field often take an embedding-based approach to model the structural information of KGs so that entity alignment can be easily performed in the embedding space. However, most existing works do not explicitly utilize useful relation representations to assist in entity alignment, which, as we will show in the paper, is a simple yet effective way for improving entity alignment. This paper presents a novel joint learning framework for entity alignment. At the core of our approach is a Graph Convolutional Network (GCN) based framework for learning both entity and relation representations. Rather than relying on pre-aligned relation seeds to learn relation representations, we first approximate them using entity embeddings learned by the GCN. We then incorporate the relation approximation into entities to iteratively learn better representations for both. Experiments performed on three real-world cross-lingual datasets show that our approach substantially outperforms state-of-the-art entity alignment methods.

연구 동기 및 목표

• 기존 엔티티 정렬 방법이 관계 표현의 잠재력을 충분히 활용하지 못하는 한계를 해결하기 위해.
• 사전에 정렬된 관계 시드가 필요 없이 고품질의 관계 표현을 학습할 수 있는 확장 가능한 프레임워크를 개발하기 위해.
• 구조적 정보와 관계 정보를 모두 통합한 공동 엔티티 표현의 반복적 정교화를 통해 엔티티 및 관계 정렬을 공동 최적화하기 위해.
• 이종 지식 그래프에서 시드 정렬을 구성하는 데 소요되는 인간의 노고를 줄이면서도 정렬 성능을 향상시키기 위해.

제안 방법

• 프레임워크는 이종 지식 그래프에서의 초기 엔티티 표현을 학습하기 위해 게이팅된 그래프 컬러션 네트워크(GCN)를 활용한다.
• 관계 표현은 GCN의 엔티티 임베딩를 사용하여 근사함으로써 사전에 정렬된 관계가 필요 없도록 한다.
• 이웃 엔티티 정보와 근사된 관계 표현을 결합하여 공동 엔티티 표현을 구성함으로써 구조적 맥락을 풍부하게 한다.
• 반복적 학습 과정을 통해 엔티티 및 관계 표현을 정교화함으로써 상호 보완적인 개선을 가능하게 한다.
• 모델은 다양한 관계와 이웃의 기여도를 동적으로 가중하는 게이팅 메커니즘을 사용하여 표현 품질을 향상시킨다.
• 프레임워크는 교차 다국어 지식 그래프 간의 엔티티 및 관계 정렬을 위해 대비 손실을 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 이종 지식 그래프에서 엔티티와 관계 표현을 공동으로 학습하면 엔티티 정렬 성능이 향상되는가?
• RQ2 사전에 정렬된 관계가 없이도 엔티티 임베딩에서 관계 표현을 효과적으로 근사할 수 있는가?
• RQ3 엔티티 표현에 관계 정보를 통합하면 별개로 학습하는 것보다 더 나은 정렬 결과를 낳는가?
• RQ4 모델은 다양한 양의 시드 엔티티 정렬에 대해 얼마나 강건한가?
• RQ5 공동 학습 프레임워크는 초기 시드 정렬 이외의 새로운 정렬된 엔티티 및 관계 쌍을 발견할 수 있는가?

주요 결과

• HGCN-JR는 세 개의 실세계 다국어 지식 그래프 데이터셋에서 모두 최신 기술 수준 성능을 달성하며, 엔티티 및 관계 정렬 모두에서 기존 방법들을 압도적으로 뛰어넘는 성능을 보였다.
• DBP15K FR-EN에서 HGCN-JE는 단지 10%의 시드 엔티티 정렬로도 Hits@1 86.40%를 기록했으며, 40%의 시드 데이터를 사용한 BootEA 대비 17.84% 향상된 성능을 보였다.
• 낮은 시드 정렬 비율에 대해서도 강건성을 보이며, 다양한 비율의 훈련 데이터에서 일관된 성능을 유지했다.
• 공동 모델링은 관계 정렬 성능 향상이라는 부가적 이점을 가져왔으며, 엔티티 정렬에만 최적화된 모델들보다 HGCN-JR가 열등하지 않은 성능을 보였다.
• 사례 연구 결과, 반복적 정교화를 통해 모델이 새로운 정렬된 엔티티 및 관계 쌍(예: (v_FR, v_EN) 및 (r_1, r_4))을 성공적으로 발견하는 것으로 나타났다.
• 공동 표현이 고립된 엔티티 또는 관계 모델링보다 더 효과적임을 입증하였으며, '전체는 부분의 합보다 더 크다'는 원칙을 확인했다.