[논문 리뷰] Message Passing for Query Answering over Knowledge Graphs

Daniel Daza, Michael Cochez|arXiv (Cornell University)|2020. 02. 06.

Advanced Graph Neural Networks인용 수 9

한 줄 요약

이 논문은 엔티티와 변수를 포함하는 그래프로 쿼리를 인코딩하는 메시지 전달 그래프 신경망을 제안하며, 다양한 쿼리 유형 간의 일반화를 가능하게 한다. 모델은 링크 예측 데이터로만 훈련되어도 복잡한 쿼리에서 경쟁 가능한 성능을 달성하며, 명시적 감독 없이도 엔티티 유형 표현을 학습한다.

ABSTRACT

Recent works on representation learning for Knowledge Graphs have moved beyond the problem of link prediction, to answering queries of an arbitrary structure. Existing methods are based on ad-hoc mechanisms that require training with a diverse set of query structures. We propose a more general architecture that employs a graph neural network to encode a graph representation of the query, where nodes correspond to entities and variables. The generality of our method allows it to encode a more diverse set of query types in comparison to previous work. Our method shows competitive performance against previous models for complex queries, and in contrast with these models, it can answer complex queries when trained for link prediction only. We show that the model learns entity embeddings that capture the notion of entity type without explicit supervision.

연구 동기 및 목표

• 기존의 쿼리 답변 모델이 각 쿼리 구조에 맞게 특화된 훈련이 필요로 하는 한계를 해결하기 위해.
• 단일 훈련 목표를 통해 다양한 쿼리 유형 간의 일반화를 가능하게 하는 통합 아키텍처를 개발하기 위해.
• 쿼리별 미세조정 없이 링크 예측 감독만으로도 복잡한 쿼리 답변을 가능하게 하기 위해.
• 명시적 유형 주석 없이도 메시지 전달을 통해 암묵적으로 엔티티 유형 표현을 학습하기 위해.

제안 방법

• 노드는 엔티티와 변수를 나타내고, 간선은 관계 또는 제약 조건을 나타내는 쿼리 그래프를 구성한다.
• 메시지 전달 메커니즘을 갖춘 그래프 신경망(GNN)을 적용하여 쿼리 그래프 전역에서 정보를 전파한다.
• 메시지를 학습 가능한 신경망을 사용해 집계하고 갱신하여 반복적으로 노드 표현을 정교화한다.
• 최종 노드 표현을 사용해 후보 엔티티를 쿼리 구조와 비교해 스코어링함으로써 답변 엔티티를 예측한다.
• 엔드 투 엔드로 링크 예측 손실을 사용해 훈련하며, 이는 암묵적으로 쿼리 추론을 이끈다.
• GNN 전파를 통해 쿼리의 구조를 동적으로 인코딩함으로써 임의의 쿼리 구조를 지원한다.

실험 결과

연구 질문

• RQ1 각각의 구조에 맞게 재훈련 없이도 단일 GNN 기반 모델이 다양한 쿼리 유형 간에 일반화할 수 있는가?
• RQ2 링크 예측으로만 훈련하면 복잡한 쿼리에 대한 효과적인 추론이 가능한가?
• RQ3 메시지 전달을 통해 학습된 엔티티 임베딩이 명시적 감독 없이도 엔티티 유형 의미를 포착할 수 있는가?
• RQ4 모델의 성능이 복잡한 쿼리에서 전문적인 쿼리 답변 모델과 비교해 어떻게 되는가?

주요 결과

• 이전 최고 성능 모델들과 비교해 복잡한 쿼리에서 경쟁 가능한 성능을 달성한다.
• 미리 훈련되지 않은 쿼리 유형으로도 미세조정 없이 일반화되며, GNN 아키텍처의 강력한 인덕티브 바이어스를 입증한다.
• 메시지 전달을 통해 암묵적으로 엔티티 유형 표현을 학습하며, 임베딩 공간에서의 의미적 클러스터링을 통해 이를 뒷받침한다.
• 링크 예측으로만 훈련되어도 성능이 유지되므로, 강인성과 일반화 능력이 뛰어나다.