[논문 리뷰] Convolutional 2D Knowledge Graph Embeddings

Tim Dettmers, Pasquale Minervini외 2명|arXiv (Cornell University)|2017. 07. 05.

Advanced Graph Neural Networks인용 수 29

한 줄 요약

이 논문은 DistMult와 R-GCN에 비해 훨씬 적은 파라미터를 사용하면서도 최신 기술 수준의 성능을 달성하는 지식 그래프 링크 예측을 위한 2차원 합성곱 신경망인 ConvE를 소개한다. 엔티티와 관계 임베딩에 2D 컨볼루션을 적용함으로써 ConvE는 고도로 연결된 그래프, 특히 고인-degree 노드를 가진 그래프에서 복잡하고 계층적인 패턴을 포착할 수 있으며, 1-N 스코링을 통해 효율적인 처리와 테스트 세트 누출에 대한 강건성을 확보할 수 있다. 이를 위해 체계적으로 구성된 데이터셋 변형을 활용한다.

ABSTRACT

Link prediction for knowledge graphs is the task of predicting missing relationships between entities. Previous work on link prediction has focused on shallow, fast models which can scale to large knowledge graphs. However, these models learn less expressive features than deep, multi-layer models -- which potentially limits performance. In this work, we introduce ConvE, a multi-layer convolutional network model for link prediction, and report state-of-the-art results for several established datasets. We also show that the model is highly parameter efficient, yielding the same performance as DistMult and R-GCN with 8x and 17x fewer parameters. Analysis of our model suggests that it is particularly effective at modelling nodes with high indegree -- which are common in highly-connected, complex knowledge graphs such as Freebase and YAGO3. In addition, it has been noted that the WN18 and FB15k datasets suffer from test set leakage, due to inverse relations from the training set being present in the test set -- however, the extent of this issue has so far not been quantified. We find this problem to be severe: a simple rule-based model can achieve state-of-the-art results on both WN18 and FB15k. To ensure that models are evaluated on datasets where simply exploiting inverse relations cannot yield competitive results, we investigate and validate several commonly used datasets -- deriving robust variants where necessary. We then perform experiments on these robust datasets for our own and several previously proposed models and find that ConvE achieves state-of-the-art Mean Reciprocal Rank across most datasets.

연구 동기 및 목표

• 대규모 지식 그래프에 스케일링되면서도 높은 표현력을 유지하는 깊이 있는, 파라미터 효율적인 링크 예측 모델을 개발하는 것.
• 높은 임베딩 차원을 요구하고 복잡한 그래프 구조에서 어려움을 겪는 얕은 모델인 DistMult의 한계를 해결하는 것.
• 표준 데이터셋인 WN15와 FB15k에서의 역관계로 인한 테스트 세트 누출이 벤치마크 결과의 타당성에 미치는 영향을 조사하고 정량화하는 것.
• 모델 평가의 공정성을 보장하기 위해 기준 데이터셋의 강건하고 누출 없는 변형을 만드는 것.
• 이러한 강건한 데이터셋에서 ConvE 및 이전 모델의 성능을 평가하고, 평균 역수 순위(MRR) 측면에서 ConvE의 열등성을 입증하는 것.

제안 방법

• 엔티티와 관계를 학습 가능한 임베딩으로 표현하고, 이를 2D 행렬로 정렬하여 2D 컨볼루션 처리를 수행한다.
• 임베딩 행렬에서 계층적이고 비선형적인 특징을 추출하기 위해 ReLU 활성화 함수를 적용한 단일 2D 컨볼루션 레이어를 적용한다.
• 학습 중 과적합을 방지하기 위해 배치 정규화와 드롭아웃을 사용한다.
• 컨볼루션 레이어의 출력을 선형 변환을 통해 임베딩 차원으로 투영한다.
• 투영된 특징과 대상 엔티티 임베딩 간의 내적을 통해 스코어를 계산한다.
• 효율적인 음성 샘플링과 배치 처리를 통해 학습 속도를 3배 빠르게 하고 평가 속도를 300배 빠르게 하는 1-N 스코링 절차를 구현한다.

실험 결과

연구 질문

• RQ1 깊이 있는 2D 컨볼루션 아키텍처가 DistMult와 같은 얕은 모델보다 더 적은 파라미터로 링크 예측 성능을 뛰어넘을 수 있는가?
• RQ2 WN18과 FB15k에서의 역관계로 인한 테스트 세트 누출이 벤치마크 결과의 타당성에 어느 정도 영향을 미치는가?
• RQ3 지식 그래프에서 노드 중심성과 순환적 인-degree와 모델 성능 간의 상관관계는 어떠한가?
• RQ4 ConvE의 더 깊은 아키텍처가 고인-degree 또는 고PageRank 노드를 가진 복잡한 그래프에서 측정 가능한 성능 향상을 제공하는가?
• RQ5 표준 데이터셋의 강건하고 누출 없는 변형을 유도하여 공정하고 의미 있는 모델 평가를 보장할 수 있는가?

주요 결과

• ConvE는 FB15k-237, WN18RR, YAGO3-10를 포함한 대부분의 강건한 벤치마크 데이터셋에서 최신 기술 수준의 평균 역수 순위(MRR)를 달성한다.
• FB15k-237에서 ConvE는 DistMult 대비 8배, R-GCN 대비 17배 적은 파라미터로 최신 기술 수준의 MRR 성능을 확보한다.
• 단순한 규칙 기반 모델이 역관계를 활용하여 원본 WN18과 FB15k에서 최신 기술 수준의 성능을 달성함에 따라, 심각한 테스트 세트 누출이 존재함을 시사한다.
• 역관계 누출을 제거하기 위해 WN18RR이라는 강건한 변형 데이터셋이 제작되어, 모델의 공정한 평가를 가능하게 하였다.
• 고인-degree 그래프(예: FB15k-237, YAGO3-10)에서 ConvE는 DistMult보다 뛰어난 성능을 보이며, 평균 테스트 세트 PageRank와 성능 향상 간 상관계수 r=0.56를 기록한다.
• 노드 중심성과 순환적 인-degree가 높을수록 ConvE와 DistMult 간의 성능 격차가 커지며, 이는 더 깊은 모델이 복잡한 그래프 구조를 더 잘 포착함을 확인한다.