[논문 리뷰] Modeling Relational Data with Graph Convolutional Networks

Michael Schlichtkrull, Thomas Kipf외 4명|arXiv (Cornell University)|2017. 03. 17.

Advanced Graph Neural Networks참고 문헌 40인용 수 85

한 줄 요약

논문은 다중 관계 지식 그래프를 위한 Relational Graph Convolutional Networks (R-GCNs)를 제안하고 엔티티 분류 및 링크 예측에 대한 효과를 입증하며, R-GCN 인코더와 DistMult 디코더를 결합할 때 FB15k-237에서 29.8%의 개선을 보인다는 점이 주목됩니다.

ABSTRACT

Knowledge graphs enable a wide variety of applications, including question answering and information retrieval. Despite the great effort invested in their creation and maintenance, even the largest (e.g., Yago, DBPedia or Wikidata) remain incomplete. We introduce Relational Graph Convolutional Networks (R-GCNs) and apply them to two standard knowledge base completion tasks: Link prediction (recovery of missing facts, i.e. subject-predicate-object triples) and entity classification (recovery of missing entity attributes). R-GCNs are related to a recent class of neural networks operating on graphs, and are developed specifically to deal with the highly multi-relational data characteristic of realistic knowledge bases. We demonstrate the effectiveness of R-GCNs as a stand-alone model for entity classification. We further show that factorization models for link prediction such as DistMult can be significantly improved by enriching them with an encoder model to accumulate evidence over multiple inference steps in the relational graph, demonstrating a large improvement of 29.8% on FB15k-237 over a decoder-only baseline.

연구 동기 및 목표

• 대규모 지식 기반(Yago, DBPedia, Wikidata 등)의 불완전성 문제를 동기화하고 지식 그래프에서 누락된 정보를 예측한다.
• highly multi-relational 데이터를 다룰 수 있는 인코더 모델(R-GCN)을 개발한다.
• 엔티티 분류 및 링크 예측에서 R-GCN의 효과를 입증한다.
• R-GCN 인코더로 인한 인자 분해 모델의 성능 향상이 도전적인 데이터셋에서의 성능 향상으로 이어짐을 보인다.

제안 방법

• 관계별 변환과 정규화된 이웃 집계를 갖는 관계 그래프 컨볼루션 네트워크를 정의한다(식(2)).
• 다중 관계 가중치 공유를 위한 정규화 기법: 기저 분해(식(3))와 블록 대각 분해(식(4))를 도입한다.
• softmax를 각 노드에 적용하고 교차 엔트로피 손실을 사용하는 엔티티 분류를 위한 인코더로 R-GCN을 사용한다(식(5)).
• 인코더가 R-GCN이고 디코더가 DistMult 분해인 그래프 오토인코더를 구성하여 링크 예측을 수행하며, 음수 샘플링으로 학습한다(식(6), 식(7)).
• 엔티티 분류를 위한 단독 인코더로서의 R-GCN과 링크 예측을 위한 DistMult 디코더가 있는 인코더를 평가하고, R-GCN+ 앙상블을 탐구한다.

실험 결과

연구 질문

• RQ1 Relational Graph Convolutional Networks가 다중 관계 지식 그래프를 엔티티 분류와 링크 예측에 대해 효과적으로 모델링할 수 있는가?
• RQ2 R-GCN 인코더를 도입하면 도전적인 데이터셋에서 표준 링크 예측 인자 모델(DistMult 등)의 성능이 향상되는가?
• RQ3 정규화 전략(기저 및 블록 분해)이 과적합 없이 많은 관계 유형으로 R-GCN을 확장하는 데 어떻게 도움이 되는가?
• RQ4 R-GCN 인코더를 기존 디코더와 결합하면 디코더 만 baselines보다 성능 향상을 주는가, 특히 역 관계나 차수가 높은 노드가 있는 데이터셋에서?
• RQ5 역 관계 쌍이 제거된 데이터셋(FB15k-237 등)에서 R-GCN 인코더를 사용하는 것이 어떤 영향을 미치는가?

주요 결과

• R-GCN은 엔티티 분류 성능에서 강력한 결과를 보이며 AIFB 및 AM 데이터셋에서 최첨단 성능을 달성했다.
• 링크 예측의 경우, DistMult 디코더를 가진 R-GCN 인코더가 디코더만 DistMult를 능가하고 FB15k 및 WN18에서 다른 베이스라인과 경쟁력 있다.
• FB15k-237에서 R-GCN 인코더가 디코더 베이스라인 대비 29.8%의 큰 향상을 보이며 그래프 이웃에 대한 추론의 가치를 강조한다.
• R-GCN+ 앙상블은 일반적으로 성능을 향상시키며, 특히 지역 맥락이 정보적일 때 더욱 그렇다.
• 고차수 노드에서 R-GCN의 성능이 더 좋다는 것을 보여주며, 순수한 인자화 모델과의 보완적 강점을 시사하고 미래 주의 attention 기반 확장의 가능성을 제시한다.
• 또한 더 표현력 있는 디코더(예: ComplEx)를 R-GCN 인코더와 통합하는 것이 유망한 방향임을 시사한다.