[논문 리뷰] Context-Enhanced Entity and Relation Embedding for Knowledge Graph Completion

Ziyue Qiao, Zhiyuan Ning외 2명|arXiv (Cornell University)|2020. 12. 13.

Advanced Graph Neural Networks참고 문헌 4인용 수 4

한 줄 요약

이 논문은 학습 가능한 어텐션 메커니즘을 사용하여 엔티티 및 관계 이웃의 맥락 정보를 반복적으로 집계함으로써 엔티티 및 관계 임베딩을 향상시키는 지식 그래프 완성 모델 AggrE를 제안한다. 이 모델은 FB15K-237 및 WN18RR에서 최신 기술 수준(SOTA) 성능을 달성하며, 특히 자원이 제한된 환경에서 기존 방법들보다 뚜렷한 성능 향상을 보였다.

ABSTRACT

Most researches for knowledge graph completion learn representations of entities and relations to predict missing links in incomplete knowledge graphs. However, these methods fail to take full advantage of both the contextual information of entity and relation. Here, we extract contexts of entities and relations from the triplets which they compose. We propose a model named AggrE, which conducts efficient aggregations respectively on entity context and relation context in multi-hops, and learns context-enhanced entity and relation embeddings for knowledge graph completion. The experiment results show that AggrE is competitive to existing models.

연구 동기 및 목표

• 기존 지식 그래프 완성 모델이 엔티티 및 관계 양측의 맥락 정보를 충분히 활용하지 못하는 한계를 해결하기 위해.
• 엔티티 및 관계 임베딩에 다단계 이웃 맥락을 통합하여 링크 예측 성능을 향상시키기 위해.
• 복잡한 변환을 피하고 과적합을 줄이는 데 초점을 맞춘 효율적이고 파라미터가 적은 모델을 설계하기 위해.
• 더 나은 표현 학습을 위해 엔티티 맥락과 관계 맥락을 함께 모델링하는 효과를 탐색하기 위해.

제안 방법

• 모델은 엔티티와 연결된 모든 (관계, 이웃 엔티티) 쌍을 엔티티 맥락으로 정의하고, 관계로 연결된 모든 (헤드, 테일) 엔티티 쌍을 관계 맥락으로 정의한다.
• 학습 가능한 어テン션 가중치를 사용하여 각각의 맥락을 고려해 엔티티 및 관계 임베딩을 번갈아가며 갱신하는 다층 집계 메커니즘을 사용한다.
• DistMult 기반의 점수 함수를 통해 계산된 어텐션 가중치는 맥락 이웃에 대한 미분 가능한 어텐션을 가능하게 한다.
• 집계 규칙은 관계 임베딩과 이웃 엔티티 임베딩의 원소별 곱과 현재 엔티티 임베딩을 조합하며, 잔차 연결을 사용한다.
• 최종 임베딩은 DistMult 점수 함수를 통해 삼중항 점수를 계산하고, 훈련을 위해 소프트맥스 손실이 적용된다.
• 모델은 Adam 옵timizer를 사용하고 L2 정규화 및 미니배치 학습을 통해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 엔티티 맥락과 관계 맥락을 함께 모델링하면 지식 그래프 완성 성능이 향상되는가?
• RQ2 엔티티 또는 관계 맥락만 사용하는 모델과 비교해 다단계 맥락 정보를 통합하면 링크 예측 정확도에 어떤 영향을 미치는가?
• RQ3 복잡한 변환을 피하는 파라미터 효율적인 아키텍처가 지식 그래프 완성에서 표준 GNN보다 성능이 뛰어나지 않는가?
• RQ4 맥락 집계가 자원이 제한되거나 희박한 지식 그래프에서 과적합을 어느 정도 줄이는가?
• RQ5 표준 벤치마크인 FB15K-237 및 WN18RR에서 최신 기술 수준 기준선과 비교해 모델의 성능은 어떠한가?

주요 결과

• AggrE는 WN18RR에서 MRR 0.953을 기록하여 최고의 베이스라인인 RotatE(0.799)를 크게 앞서며 희박한 그래프에서 뛰어난 성능을 입증했다.
• FB15K-237에서 AggrE는 MRR 0.966을 달성하여 SimplE(0.971) 및 RotatE(0.970)를 포함한 모든 베이스라인을 초월하며 다양한 데이터셋에 대한 강건성을 보였다.
• 모든 벤치마크에서 AggrE는 Hit@3 점수 0.989를 기록하여 상위 3개 예측의 정밀도가 매우 높음을 시사한다.
• 동일한 점수 함수를 사용하고도 AggrE는 DistMult를 크게 앞서며 맥락 집계의 가치를 입증했다.
• 성능 향상은 특히 WN18RR에서 가장 두드러졌으며, 이는 AggrE의 맥락 집계가 희박한 지식 그래프에서 특히 효과적임을 시사한다.
• 엔티티 및 관계 임베딩만을 학습 가능한 파라미터로 사용하고도 성능이 유지됨을 감안할 때 과적합 위험이 낮다는 것을 나타낸다.