[논문 리뷰] Knowledge Graph Embedding with Entity Neighbors and Deep Memory Network

Kai Wang, Yu Liu외 2명|ArXiv.org|2018. 08. 11.

Advanced Graph Neural Networks참고 문헌 32인용 수 17

한 줄 요약

이 논문은 구조적 정보와 의미적 정보를 엔티티 이웃에서 통합함으로써 엔티티 표현을 향상시키는 새로운 KGE 모델인 Neighborhood Knowledge Graph Embedding (NKGE)을 제안한다. 이웃은 위상적 이웃(직접적인 KG 연결)과 의미적 이웃(서로의 설명에서 상호 참조되는 엔티티)으로 나뉜다. 깊이 있는 메모리 네트워크(DMN)를 사용해 이웃 특징을 인코딩하고, 게이팅 메커니즘을 통해 구조적 임베딩과 융합함으로써 NKGE는 네 가지 벤치마크 데이터셋에서 링크 예측 작업에서 최신 기술 수준(SOTA) 성능을 달성하며, 엔티티 설명을 사용하는 기존 방법들을 능가한다.

ABSTRACT

Knowledge Graph Embedding (KGE) aims to represent entities and relations of knowledge graph in a low-dimensional continuous vector space. Recent works focus on incorporating structural knowledge with additional information, such as entity descriptions, relation paths and so on. However, common used additional information usually contains plenty of noise, which makes it hard to learn valuable representation. In this paper, we propose a new kind of additional information, called entity neighbors, which contain both semantic and topological features about given entity. We then develop a deep memory network model to encode information from neighbors. Employing a gating mechanism, representations of structure and neighbors are integrated into a joint representation. The experimental results show that our model outperforms existing KGE methods utilizing entity descriptions and achieves state-of-the-art metrics on 4 datasets.

연구 동기 및 목표

• 기존 KGE 방법에서 노이즈가 많고 비구조적인 추가 정보(예: 엔티티 설명, 관계 경로)의 한계를 해결하기 위해.
• 의미적 및 위상적 특징을 통합하면서 노이즈를 줄이는 새로운 형태의 추가 정보인 엔티티 이웃을 제안하기 위해.
• 엔티티 이웃에서 잠재 표현을 효과적으로 추출하기 위해 깊이 있는 메모리 네트워크(DMN) 인코더를 설계하기 위해.
• 학습 가능한 게이팅 메커니즘을 통해 구조적 KGE 모델(TransE 및 ConvE)과 이웃 표현을 융합하여 공동 표현 학습을 수행하기 위해.
• 엔티티 이웃과 DMN 인코더의 우수성을 실증적으로 검증하기 위해.

제안 방법

• 엔티티 이웃은 위상적 이웃(관계를 통해 직접 연결된 엔티티)과 의미적 이웃(서로의 설명에서 상호 참조되는 엔티티)의 합집합으로 정의된다.
• 이웃 정보를 인코딩하기 위해 깊이 있는 메모리 네트워크(DMN)가 사용되며, 다중 메모리 힙과 주목적 메커니즘을 통해 맥락 기반 표현을 학습한다.
• 학습 가능한 게이팅 메커니즘이 구조적 표현(TransE 또는 ConvE에서 유도됨)과 이웃 표현을 동적으로 융합하여 통합된 엔티티 임베딩을 생성한다.
• 음성 샘플링과 확률적 경사 하강법을 사용해 엔드 투 엔드로 모델을 훈련하며, 링크 예측 손실을 최적화한다.
• 두 가지 변형이 구현되었으며, 각각 NKGE (TransE)와 NKGE (ConvE)로, 모두 해당 아키텍처에 이웃 인코딩을 통합한다.
• 통제된 아블레이션 스터디를 통해 설명과 이웃에 기반한 CBOW 및 LSTM 기반 인코더와 비교함으로써 이웃 표현과 인코더 설계의 영향을 분리하여 평가한다.

실험 결과

연구 질문

• RQ1 의미적 및 위상적 특징을 통합한 엔티티 이웃은 기존의 엔티티 설명보다 더 효과적이고 노이즈가 적은 추가 정보 형태로 기능할 수 있는가?
• RQ2 깊이 있는 메모리 네트워크(DMN)는 더 단순한 인코더(CBOW, LSTM 등)보다 이웃 엔티티에서 복잡한 패턴을 더 잘 포착하는가?
• RQ3 학습 가능한 게이팅 메커니즘을 통해 이웃 표현을 통합하면 희소하거나 불완전한 지식 그래프에서 KGE 성능을 향상시킬 수 있는가?
• RQ4 엔티티 설명을 사용하는 최신 기술 수준의 KGE 모델과 비교할 때 NKGE의 성능은 어떠한가?
• RQ5 위상적 이웃과 의미적 이웃은 각각 독립적으로 기여하는가? 그리고 두 가지를 조합하면 더 효과적인가?

주요 결과

• NKGE (TransE)는 네 가지 벤치마크 데이터셋 전부에서 최신 기술 수준의 평균 순위(MR)를 달성하며, 엔티티 설명을 사용하는 TransE 기반 기준 모델들을 능가한다.
• NKGE (ConvE)는 대부분의 데이터셋에서 최신 기술 수준의 평균 역수 순위(MRR) 및 Hits@N 점수를 확보하였으며, FB15k에서 ANALOGY를 능가하는 성능을 보였다.
• FB15k에서 NKGE (DMN + Nei)는 MR = 50 및 Hits@10 = 78.5를 기록하여 DKRL(MR = 91, Hits@10 = 67.4)과 Jointly(MR = 73, Hits@10 = 75.5)를 모두 능가했다.
• 아블레이션 스터디 결과, 엔티티 이웃만으로도 동일한 인코더를 사용한 설명 기반 방법보다 우수한 성능을 보였으며, 이는 이웃 표현의 가치를 입증한다.
• DMN 인코더는 CBOW 및 LSTM 인코더보다 성능을 크게 향상시켰으며, NKGE (DMN + Des)는 MR = 53 및 Hits@10 = 76.0을 기록하여 Jointly(A_LSTM + Des)를 능가했다.
• 위상적 이웃과 의미적 이웃을 모두 조합한 NKGE (T&S)가 가장 우수한 성능(MR = 237, Hits@10 = 51.0)을 기록하여 두 이웃 유형 간의 상호보완성이 확인되었다.