[논문 리뷰] AutoETER: Automated Entity Type Representation for Knowledge Graph Embedding

Guanglin Niu, Bo Li외 3명|arXiv (Cornell University)|2020. 09. 25.

Advanced Graph Neural Networks참고 문헌 32인용 수 6

한 줄 요약

AutoETER는 공통된 벡터 공간 내에서 유형 전이를 번역 연산으로 모델링하여 관계 인식 유형 표현을 자동으로 학습하는 혁신적인 지식 그래프 임베딩 프레임워크를 제안한다. 이는 네 개의 데이터셋에서 링크 예측 성능에서 최신 기술을 초월하며, 명시적 유형 주석이 필요 없이 대칭성, 역전치성, 복합성, 복잡한 1-N, N-1, N-N 관계를 효과적으로 포괄하는 엔드 투 엔드 유형 임베딩 학습을 통해 구현한다.

ABSTRACT

Recent advances in Knowledge Graph Embedding (KGE) allow for representing entities and relations in continuous vector spaces. Some traditional KGE models leveraging additional type information can improve the representation of entities which however totally rely on the explicit types or neglect the diverse type representations specific to various relations. Besides, none of the existing methods is capable of inferring all the relation patterns of symmetry, inversion and composition as well as the complex properties of 1-N, N-1 and N-N relations, simultaneously. To explore the type information for any KG, we develop a novel KGE framework with Automated Entity TypE Representation (AutoETER), which learns the latent type embedding of each entity by regarding each relation as a translation operation between the types of two entities with a relation-aware projection mechanism. Particularly, our designed automated type representation learning mechanism is a pluggable module which can be easily incorporated with any KGE model. Besides, our approach could model and infer all the relation patterns and complex relations. Experiments on four datasets demonstrate the superior performance of our model compared to state-of-the-art baselines on link prediction tasks, and the visualization of type clustering provides clearly the explanation of type embeddings and verifies the effectiveness of our model.

연구 동기 및 목표

• 기존 지식 그래프 임베딩 모델이 명시적 엔티티 유형에 의존하거나 다양한 관계 간의 다채로운 유형 표현을 모델링하지 못하는 한계를 해결하기 위해.
• 대칭성, 역전치성, 복합성과 같은 주요 관계 패턴뿐만 아니라 복잡한 1-N, N-1, N-N 관계까지 통합적으로 모델링할 수 있는 유일한 프레임워크를 개발하기 위해.
• 명시적 유형 주석이 필요 없이 잠재적 유형 표현을 자동으로 학습하여 다양한 지식 그래프 간의 일반화 능력을 향상시키기 위해.
• 관계별 유형 임베딩을 통합하여 관계의 의미적 맥락을 반영함으로써 링크 예측 성능을 향상시키기 위해.

제안 방법

• 임베딩 공간 내에서 type_head + relation = type_tail로 모델링하는 관계 인식 투영 메커니즘을 도입하여 유형 전이를 번역 연산으로 표현한다.
• 엔티티 전용 삼중항과 유형 전용 삼중항을 위한 두 가지 별도의 인코더를 활용하여 엔티티, 관계, 유형 임베딩의 공동 학습을 가능하게 한다.
• 유형 임베딩을 정규화하기 위해 유형 유사도 제약 조건을 적용하여 의미적으로 유사한 유형이 임베딩 공간에서 가까이 군집되도록 유도한다.
• 플러그인 모듈 아키텍처를 활용하여 기존의 어떤 KGE 모델에도 통합 가능하게 하여 학습된 유형 표현을 통해 성능 향상을 이룬다.
• 낮은 차원의 유형 임베딩을 통해 엔티티의 일반적 특징을 포착하고, 높은 차원의 엔티티 임베딩을 통해 개별적 특징을 캡처한다.
• t-SNE와 K-means를 활용하여 유형 임베딩의 시각화를 수행하여 의미적으로 유사한 유형 간 군집이 잘 이루어졌음을 입증한다.

실험 결과

연구 질문

• RQ1 명시적 유형 주석이 없는 조건에서 지식 그래프 임베딩 모델이 다양한 관계 기반 유형 표현을 학습할 수 있는가?
• RQ2 제안된 프레임워크는 대칭성, 역전치성, 복합성뿐만 아니라 복잡한 1-N, N-1, N-N 관계까지 모두 모델링하고 추론할 수 있는가?
• RQ3 명시적 유형 또는 유형 정보 없이도 자동으로 학습된 유형 표현이 링크 예측 성능 향상에 기여하는가?
• RQ4 관계 인식 투영 메커니즘이 엔티티와 그 유형 간의 의미적 관계를 얼마나 효과적으로 포착하는가?

주요 결과

• AutoETER는 네 개의 벤치마크 데이터셋에서 링크 예측 성능에서 최신 기술을 초월하며, RotatE와 QuatE를 모두 능가한다.
• FB15K-237에서 AutoETER는 MRR 0.344, Hits@10 0.538을 기록하여 강력한 일반화 능력과 내구성을 입증한다.
• 제거 실험 결과, 유형 표현 모듈과 유형 유사도 제약 조건이 성능 향상에 크게 기여하며, 유형 표현이 제거되면 MRR가 0.340으로 떨어짐을 확인하였다.
• 시각화 결과는 유형 임베딩이 의미적으로 유의미하게 군집되어 있음을 보여주며, 예를 들어 영화 관련 엔티티들이 함께 모여 있음을 확인하였다. 이는 학습된 표현의 의미적 일관성을 검증한다.
• TKRL과 TypeComplex와 같은 유형 임베딩 모델보다 AutoETER가 성능이 뛰어나, 자동으로 학습된 관계 인식 유형 임베딩이 정적 또는 명시적으로 제공된 유형보다 더 효과적임을 시사한다.
• 모델은 복잡한 관계를 효과적으로 포착한다: FB15K에서 1-N, N-1, N-N 관계에 대해 뛰어난 성능을 기록하였으며, 특히 헤드 및 테일 엔티티 예측에서 뛰어난 성능을 보였다.