[논문 리뷰] Knowledge Graph Embedding using Graph Convolutional Networks with Relation-Aware Attention

Nasrullah Sheikh, Xiao Qin외 4명|arXiv (Cornell University)|2021. 02. 14.

Advanced Graph Neural Networks참고 문헌 22인용 수 7

한 줄 요약

이 논문은 지식 그래프 임베딩을 향상시키기 위해 그래프 컨volution 네트워크에서 특성 집합 과정 동안 이웃 엔티티를 관계 유형에 따라 동적으로 가중치를 부여하는 관계 인지 그래프 어텐션 메커니즘인 RelAtt를 제안한다. 이 방법은 관계 의미를 활용하여 링크 예측과 비지도 엔티티 매칭을 향상시키며, 특히 낮은 맥락 조건에서 최신 기준 성능을 뛰어넘는다.

ABSTRACT

Knowledge graph embedding methods learn embeddings of entities and relations in a low dimensional space which can be used for various downstream machine learning tasks such as link prediction and entity matching. Various graph convolutional network methods have been proposed which use different types of information to learn the features of entities and relations. However, these methods assign the same weight (importance) to the neighbors when aggregating the information, ignoring the role of different relations with the neighboring entities. To this end, we propose a relation-aware graph attention model that leverages relation information to compute different weights to the neighboring nodes for learning embeddings of entities and relations. We evaluate our proposed approach on link prediction and entity matching tasks. Our experimental results on link prediction on three datasets (one proprietary and two public) and results on unsupervised entity matching on one proprietary dataset demonstrate the effectiveness of the relation-aware attention.

연구 동기 및 목표

• 기존 그래프 컨volution 네트워크가 관계 유형에 관계없이 모든 이웃에 동일한 가중치를 부여하는 한계를 해결하기 위해.
• 어텐션 메커니즘에 관계별 의미를 통합하여 엔티티 및 관계 표현 학습을 향상시키기 위해.
• 관계 인지 어텐션 메커니즘을 활용하여 링크 예측 및 비지도 엔티티 매칭 성능을 향상시키기 위해.
• 지식 그래프의 미리 보지 않은 노드로 일반화할 수 있는 인덕티브 모델을 개발하기 위해.

제안 방법

• 엔티티 특징과 관계 유형을 기반으로 어텐션 점수를 계산하는 관계 인지 마스크된 어텐션 메커니즘을 제안한다.
• 어텐션 메커니즘을 그래프 컨볼루션 네트워크에 통합하여 특성 전파 과정에서 이웃 노드로부터의 메시지에 대해 동적으로 가중치를 할당한다.
• 유효한 삼중항이 비유효한 삼중항보다 더 높은 점수를 받도록 하는 점수 함수를 사용하여 임베딩을 최적화한다.
• 학습된 모델을 사용하여 쿼리 그래프의 엔티티 임베딩을 추론하여 후속 엔티티 매칭 작업에 활용한다.
• 학습된 임베딩 간 코사인 유사도를 활용하여 쿼리 그래프와 레퍼런스 그래프 간 비지도 엔티티 매칭을 수행한다.
• 완전한 지식 그래프에서 링크 예측 목표를 사용하여 모델을 엔드 투 엔드로 훈련시켜, 새로운 노드로의 인덕티브 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 이웃 집합 과정에서 관계의 의미 역할을 고려함으로써 관계 인지 어텐션 메커니즘이 지식 그래프 임베딩을 향상시킬 수 있는가?
• RQ2 다양한 데이터셋에서 최신 기준 GCN 기반 방법과 비교해 볼 때, 제안된 RelAtt 모델은 링크 예측에서 어떤 성능을 보이는가?
• RQ3 어떤 정도로 어텐션 메커니즘이 비지도 엔티티 매칭을 향상시키는가, 특히 맥락 정보가 제한된 경우에 대해?
• RQ4 오직 일부 이웃만 이용 가능한 낮은 맥락 쿼리 그래프에서 모델은 성능을 유지하는가?

주요 결과

• 기밀 데이터셋인 Comp에서 RelAtt는 임계값 0.5일 때 Hits@1이 0.7736을 기록하여 BERT(0.7373)와 RGCN(0.7250)을 모두 앞서며 성능을 뛰어넘었다.
• 낮은 맥락 임계값(th=0.2)에서도 RelAtt는 높은 성능(예: Hits@1: 0.7380)을 유지했고, RGCN는 심각하게 성능이 저하됨(Hits@1: 0.6248)하여 제한된 맥락에 대한 강건성을 입증했다.
• 임계값이 증가함에 따라(th=0.5), RelAtt는 계속 향상되어 Hits@10가 0.8919에 도달했으며, richer context에서의 강력한 일반화 능력을 보였다.
• 특히 맥락 정보가 희박한 상황에서, 관계 의미에 따라 이웃을 가중치 부여할 수 있는 능력 덕분에 RelAtt는 BERT와 RGCN를 크게 앞서 엔티티 매칭에서 뛰어난 성능을 보였다.
• th=0.5일 때 엔티티 매칭 과제에서 RelAtt는 Hits@30가 92.45%를 기록하여 모든 top-k 평가 지표에서 뛰어난 성능을 보였다.
• 절단 분석 결과, 관계 인지 어텐션은 핵심 요소임을 입증했다: 관계별 가중치 부여가 없는 모델들(예: RGCN)은 특히 낮은 맥락 상황에서 성능이 열등하다.