[논문 리뷰] CoKE: Contextualized Knowledge Graph Embedding

Quan Wang, Pingping Huang외 7명|arXiv (Cornell University)|2019. 11. 06.

Advanced Graph Neural Networks참고 문헌 42인용 수 69

한 줄 요약

CoKE는 그래프의 엣지와 경로를 Transformer로 인코딩하여 KG 엔티티와 관계에 대한 동적이고 맥락 인지 임베딩을 학습하고, 링크 예측 및 경로 질의 응답에서 최첨단 성능을 달성합니다.

ABSTRACT

Knowledge graph embedding, which projects symbolic entities and relations into continuous vector spaces, is gaining increasing attention. Previous methods allow a single static embedding for each entity or relation, ignoring their intrinsic contextual nature, i.e., entities and relations may appear in different graph contexts, and accordingly, exhibit different properties. This work presents Contextualized Knowledge Graph Embedding (CoKE), a novel paradigm that takes into account such contextual nature, and learns dynamic, flexible, and fully contextualized entity and relation embeddings. Two types of graph contexts are studied: edges and paths, both formulated as sequences of entities and relations. CoKE takes a sequence as input and uses a Transformer encoder to obtain contextualized representations. These representations are hence naturally adaptive to the input, capturing contextual meanings of entities and relations therein. Evaluation on a wide variety of public benchmarks verifies the superiority of CoKE in link prediction and path query answering. It performs consistently better than, or at least equally well as current state-of-the-art in almost every case, in particular offering an absolute improvement of 21.0% in H@10 on path query answering. Our code is available at \url{https://github.com/PaddlePaddle/Research/tree/master/KG/CoKE}.

연구 동기 및 목표

• 정적 임베딩을 넘어 KG 엔티티와 관계의 맥락적 의미를 모델링하는 동기를 부여한다.
• 엣지와 경로를 입력으로 취하는 맥락화된 KG 임베딩 패러다임을 소개한다.
• KG 구성요소에 대해 맥락 특화 표현을 얻기 위해 Transformer 인코더를 활용한다.
• 입력 맥락에 적응하는 동적 임베딩을 학습하기 위해 마스크된 엔티티 예측으로 학습한다.
• 링크 예측 및 경로 질의 응답 벤치마크에서 최첨단 성능을 입증한다.

제안 방법

• 그래프 맥락을 시퀀스로 표현한다(엣지 s->r->o 또는 경로 s->r1->...->rk->o).
• 시퀀스를 Transformer 블록의 스택으로 인코딩하여 각 요소에 대한 맥락화된 임베딩을 얻는다.
• 누락된 엔티티에 대한 예측 작업을 만들기 위해 첫 번째 또는 마지막 요소를 마스킹한다.
• 예측을 엔티티 확률로 매핑하기 위해 공유 엔티티 임베딩 행렬을 사용한다.
• 교차 엔트로피 손실과 라벨 스무딩으로 누락된 엔티티를 예측하도록 학습한다.
• 필터링된 랭킹과 함께 표준 링크 예측 및 경로 질의 응답 프로토콜을 사용하여 평가한다.

실험 결과

연구 질문

• RQ1 맥락화된 시퀀스 기반 KG 임베딩이 정적 임베딩보다 링크 예측 및 경로 질의 응답에서 더 우수한 성능을 보일 수 있는가?
• RQ2 엣지 및 경로 기반 맥락이 엔티티와 관계의 동적 표현을 어떻게 가능하게 하는가?
• RQ3 Transformer 기반 맥락화 임베딩이 KG 완성 작업에서 매개변수 효율적인가?

주요 결과

데이터셋	MRR	H@1	H@3	H@10
FB15k	0.855	0.826	0.872	0.906
WN18	0.952	0.947	0.955	0.960
FB15k-237	0.364	0.272	0.400	0.472
WN18RR	0.484	0.450	0.496	0.553

• CoKE는 링크 예측( FB15k, FB15k-237, WN18, WN18RR )에 대한 표준 벤치마크에서 최첨단 결과에 근접하거나 경쟁력 있다.
• FB15k 및 FB15k-237에서 CoKE는 강력한 기준선보다 더 높은 MRR 및 H@k를 달성하며, 예를 들어 FB15k에서 MRR 약 0.855, FB15k-237에서 0.364.
• WN18RR에서 CoKE는 MRR 약 0.484, H@10 약 0.553로 기준선과 일치하거나 이를 상회하며, WN18에서 강한 성능(MRR 약 0.952)을 유지한다.
• 경로 질의 응답에서 CoKE는 Freebase에서 이전 최고 방법 대비 H@10에서 최대 21.0% 절대 향상을 제공하고, WordNet에서도 큰 이득을 준다.
• CoKE는 비슷한 모델에 비해 매개변수 효율적이며 상대적으로 작은 임베딩 크기(D=256)를 사용하면서도 강력한 성능을 달성한다.