[논문 리뷰] Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs

Deepak Nathani, Jatin Chauhan외 2명|arXiv (Cornell University)|2019. 06. 04.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 지식 그래프 내에서 다중 호프 엔티티 및 관계 특징을 캡처하기 위해 새로운 그래프 어텐션 네트워크를 제안한다. 관계 예측 성능을 향상시키기 위해 어텐션 메커니즘을 다중 호프에 걸쳐 노드와 에지 모두에 확장하고, 관계 조합을 사용하여 장거리 의존성을 유지함으로써, 모델은 최신 기술 수준의 성능을 달성하였으며, FB15K-237에서 Hits@1에서 104% 향상된 성과를 기록하였다.

ABSTRACT

The recent proliferation of knowledge graphs (KGs) coupled with incomplete or partial information, in the form of missing relations (links) between entities, has fueled a lot of research on knowledge base completion (also known as relation prediction). Several recent works suggest that convolutional neural network (CNN) based models generate richer and more expressive feature embeddings and hence also perform well on relation prediction. However, we observe that these KG embeddings treat triples independently and thus fail to cover the complex and hidden information that is inherently implicit in the local neighborhood surrounding a triple. To this effect, our paper proposes a novel attention based feature embedding that captures both entity and relation features in any given entity's neighborhood. Additionally, we also encapsulate relation clusters and multihop relations in our model. Our empirical study offers insights into the efficacy of our attention based model and we show marked performance gains in comparison to state of the art methods on all datasets.

연구 동기 및 목표

• 기존 지식 임베딩 모델이 삼중항을 독립적으로 다루며 국소적 주변부의 잠재적이고 의미적으로 풍부한 관계를 포착하지 못하는 한계를 해결한다.
• 지식 그래프 내에서 복잡한 숨겨진 다중 호프 관계와 관계 클러스터를 모델링하여 관계 예측 성능을 향상시킨다.
• 다중 호프 주변부에서 엔티티 및 관계 특징을 동시에 고려하는 그래프 어テン션 메커니즘을 일반화한다.
• 관계 조합을 통합하여 모델 깊이가 증가함에 따라 장거리 의존성 흐름을 유지함으로써 모델의 표현력을 향상시킨다.
• 지식 기반 보완에서 최신 기술 수준의 방법들과 비교해 뛰어난 성능을 입증한다.

제안 방법

• 주어진 엔티티의 다중 호프 주변부에서 노드(엔티티) 및 에지(관계) 특징을 모두 고려하는 일반화된 그래프 어텐션 메커니즘을 제안한다.
• 제안된 그래프 어텐션 메커니즘을 사용하는 인코더와 ConvKB를 사용하는 디코더를 포함하는 다층 인코더-디코더 아키텍처를 통합한다.
• Lin 등(2015)의 관계 조합을 적용하여 n-호프 이웃 간에 보조 에지를 생성함으로써 먼 거리에 있는 엔티티들 사이의 정보 흐름을 효과적으로 가능하게 한다.
• 레이어 간의 반복적 메시지 전달을 통해 어텐션 가중치를 전파함으로써 모델이 관련 있는 엔티티와 관계에 동적으로 집중할 수 있도록 한다.
• 음성 샘플링과 링크 예측 손실을 사용하여 엔티티 및 관계 표현 학습을 최적화하기 위해 엔드 투 엔드로 모델을 훈련시킨다.
• 어텐션 점수를 활용하여 의미적으로 관련 있는 서브그래프, 특히 클러스터링된 관계와 높은 PageRank를 가진 노드를 식별하고 우선순위를 정한다.

실험 결과

연구 질문

• RQ1 다중 호프 주변부에서 엔티티와 관계를 동시에 모델링하는 그래프 어텐션 메커니즘이 지식 그래프에서의 관계 예측 성능을 향상시킬 수 있는가?
• RQ2 관계 클러스터와 다중 호프 관계의 포함 여부가 지식 임베딩 모델의 성능에 어떤 영향을 미치는가?
• RQ3 어텐션 기반 특징 집합이 지식 기반 보완에서 독립적인 삼중항 처리보다 얼마나 더 우수한가?
• RQ4 관계 조합의 사용이 깊은 아키텍처에서 장거리 의존성을 포착하는 데 모델의 능력을 향상시키는가?
• RQ5 훈련 과정에서 어텐션 분포는 어떻게 변화하는가? 그리고 그래프의 구조적 특성(예: PageRank)과 상관관계가 있는가?

주요 결과

• 제안된 모델은 최신 기술 수준의 방법과 비교해 FB15K-237 데이터셋에서 Hits@1에서 104% 향상된 성과를 기록하였다.
• WN18RR에서는 Hits@1과 Hits@10에서 뚜렷한 성능 향상이 있었지만, FB15K-237만큼의 성능 향상은 관찰되지 않았다.
• 제거 실험 결과, 관계 특징을 제거할 경우 성능에 심각한 하락이 발생하여, 관계 예측에서 이들의 핵심적인 역할을 확인하였다.
• 모델의 어텐션 메커니즘은 직접 이웃에 집중하는 방향으로 수렴하면서도 여전히 정보가 풍부한 다중 호프 및 클러스터링된 관계 패턴을 포착한다.
• 노드의 PageRank와 상대적 MRR 향상 간에 강한 양의 상관관계(r = 0.808)를 관찰하여, 밀도가 높은 영역이 어텐션 메커니즘의 이점에서 가장 많이 수혜를 보였음을 시사한다.
• 모델은 WN18RR와 같이 매우 희박하고 계층적인 그래프에서 성능이 열악한 편이었으며, 이는 상향식 재귀적 의존성을 포착하는 데에 한계가 있음을 시사한다.