[논문 리뷰] Type-aware Embeddings for Multi-Hop Reasoning over Knowledge Graphs

Zhiwei Hu, Víctor Gutiérrez-Basulto외 4명|arXiv (Cornell University)|2022. 05. 02.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 다중 힙 지식 그래프 추론을 향상시키기 위해 유형 정보를 엔티티 및 관계 표현에 통합하는 타입 인식 메시지 전파를 활용하는 플러그 앤 플레이 모델인 Temp를 제안한다. 엔티티 및 관계 유형을 활용해 임베딩을 개선함으로써, FB15k-237-V2, FB15k, NELL 데이터셋에서 네 가지 최신 쿼리 임베딩 모델에 대해 일반화, 추론 및 인덕티브 추론 성능을 크게 향상시켰으며, 평균 Hits@10 향상률은 최대 12.8%에 이르렀다.

ABSTRACT

Multi-hop reasoning over real-life knowledge graphs (KGs) is a highly challenging problem as traditional subgraph matching methods are not capable to deal with noise and missing information. To address this problem, it has been recently introduced a promising approach based on jointly embedding logical queries and KGs into a low-dimensional space to identify answer entities. However, existing proposals ignore critical semantic knowledge inherently available in KGs, such as type information. To leverage type information, we propose a novel TypE-aware Message Passing (TEMP) model, which enhances the entity and relation representations in queries, and simultaneously improves generalization, deductive and inductive reasoning. Remarkably, TEMP is a plug-and-play model that can be easily incorporated into existing embedding-based models to improve their performance. Extensive experiments on three real-world datasets demonstrate TEMP's effectiveness.

연구 동기 및 목표

• 기존 쿼리 임베딩 모델이 불완전하고 노이즈가 많은 지식 그래프를 다루는 데에 한계가 있으며, 특히 테스트 시점에 새로운 엔티티나 관계가 나타나는 인덕티브 추론 환경에서의 한계를 해결하기 위해.
• 지식 그래프에서 미처 활용되지 않은 임베딩 정보인 엔티티 및 관계 유형과 같은 의미적 유형 정보를 활용하여 쿼리 및 엔티티 임베딩의 표현 능력을 향상시키기 위해.
• 이미 존재하는 쿼리 임베딩 프레임워크에 아키텍처의 대대적 개편 없이도 원활하게 통합할 수 있는 모듈러하고 플러그 앤 플레이 성격의 컴포onent을 설계하기 위해.
• 엔티티, 관계 및 그들의 유형 간의 쌍별 종속성을 모델링하여 일반화, 추론 및 인덕티브 추론 성능을 향상시키기 위해.
• 이질적인 벤치마크 데이터셋, 특히 엔티티 집합이 분리된 인덕티브 설정에서도 일관된 성능 향상을 입증하기 위해.

제안 방법

• 타입 인식 메시지 전파(Temp) 프레임워크를 제안하며, 주요 구성 요소로 타입 인식 엔티티 표현(TEM)과 타입 인식 관계 표현(TRR)을 포함한다.
• TEM은 학습 가능한 집계기법을 통해 유형 정보를 집계하여 저차원 공간 내에서 엔티티 표현을 향상시킨다.
• TRR는 전역 유형 그래프를 구축하여 관계 표현을 풍부하게 하며, 기존의 관계 및 엔티티 유형 정보와 통합한다.
• 쿼리 경로 내의 앵커 노드와 관계 간의 이중 방향 메시지 전파 메커니즘을 도입하여 추론의 안정성을 확보하며, 특히 변수 노드가 존재할 경우 유리하다.
• GQE, Q2B, BetaE, LogicE와 같은 기존 쿼리 임베딩 모델에 쉽게 통합할 수 있는 플러그 앤 플레이 설계를 구현한다.
• 쿼리 및 엔티티 표현이 대비 학습 또는 순위 기반 손실을 통해 최적화되는 공동 임베딩 공간을 사용하여, 정답과 쿼리 임베딩 간의 유사도를 극대화한다.

실험 결과

연구 질문

• RQ1 엔티티 및 관계 표현에 유형 정보를 통합하면 불완전한 지식 그래프에서 다중 힙 추론 성능을 향상시킬 수 있는가?
• RQ2 테스트 시점에 학습 중에 보이지 않는 엔티티나 관계가 존재할 경우, 타입 인식 표현 학습이 인덕티브 추론에 얼마나 기여하는가?
• RQ3 일반화 및 추론 성능 측면에서 제안된 Temp 모델은 최신 쿼리 임베딩 모델들과 비교해 어떤가?
• RQ4 엔티티 유형 향상과 관계 유형 향상 중 어느 것이 전체 추론 성능 향상에 더 큰 기여를 하는가?
• RQ5 Temp 프레임워크는 다양한 기존 쿼리 임베딩 모델에 효과적이고 일관되게 플러그인 컴포넌트로 적용될 수 있는가?

주요 결과

• GQE, Q2B, BetaE, LogicE와 같은 네 가지 최신 모델에 Temp를 통합함으로써, FB15k-237-V2, FB15k, NELL 세 가지 벤치마크 데이터셋 전반에서 일관된 성능 향상을 달성했다.
• FB15k-237-V2 데이터셋에서 Temp는 인덕티브 설정에서 Hits@10를 최대 12.8% 향상시켜 강력한 일반화 및 인덕티브 추론 능력을 입증했다.
• 관계에 대한 유형 강화가 엔티티에 대한 유형 강화보다 항상 뛰어났으며, 둘을 병행 사용할 경우 최고의 성능을 기록하여 장쇄 추론에 있어 관계 수준의 유형 모델링이 더 효과적임을 시사했다.
• 절단 실험을 통해 TER 및 TRR 컴포넌트를 모두 사용할 경우 MRR 점수가 가장 높았으며, Q2B 데이터셋에서 이 둘을 모두 활성화했을 경우 최대 14.2%의 향상을 기록했다.
• 인덕티브 추론 성능 향상이 뚜렷했으며, 기준 모델 대비 FB15k-237-V2, FB15k, NELL 각각에서 Hits@10가 12.2%, 6.8%, 10.7%, 12.8% 향상되었다.
• 부정 쿼리에서는 성능 향상이 제한적이었지만, 결과는 타입 기반 표현이 본질적으로 인덕티브임을 시사한다. 새로운 엔티티나 관계는 재학습 없이도 그들의 유형 임베딩을 통해 처리 가능하다.