[논문 리뷰] ConE: Cone Embeddings for Multi-Hop Reasoning over Knowledge Graphs

Zhanqiu Zhang, Jie Wang외 3명|arXiv (Cornell University)|2021. 10. 26.

Advanced Graph Neural Networks참고 문헌 33인용 수 44

한 줄 요약

ConE는 지식 그래프에 대한 다중 홉 추론을 위하여 모든 FOL 연산(합집합, 교집합, 부정)을 지원하는 원뿔 기반 질의 임베딩을 도입하여 표준 벤치마크에서 최첨단 성능을 달성합니다.

ABSTRACT

Query embedding (QE) -- which aims to embed entities and first-order logical (FOL) queries in low-dimensional spaces -- has shown great power in multi-hop reasoning over knowledge graphs. Recently, embedding entities and queries with geometric shapes becomes a promising direction, as geometric shapes can naturally represent answer sets of queries and logical relationships among them. However, existing geometry-based models have difficulty in modeling queries with negation, which significantly limits their applicability. To address this challenge, we propose a novel query embedding model, namely Cone Embeddings (ConE), which is the first geometry-based QE model that can handle all the FOL operations, including conjunction, disjunction, and negation. Specifically, ConE represents entities and queries as Cartesian products of two-dimensional cones, where the intersection and union of cones naturally model the conjunction and disjunction operations. By further noticing that the closure of complement of cones remains cones, we design geometric complement operators in the embedding space for the negation operations. Experiments demonstrate that ConE significantly outperforms existing state-of-the-art methods on benchmark datasets.

연구 동기 및 목표

• 부분 집합의 불완전한 KG에서 첫 번째 차 논리 쿼리를 사용한 강건한 다중 홉 추론을 촉진하고 가능하게 한다.
• 모든 FOL 연산자(부정 포함)를 모델링할 수 있는 기하학 기반 QE 모델을 제공한다.
• 쿼리와 엔티티를 2차원 원뿔의 데카르트 곱으로 표현하여 집합 연산을 자연스럽게 캡처한다.
• 임베딩 공간에서 프로젝션, 교집합, 합집합 및 여집합 연산자와 학습 가능한 거리 기반 학습 objective를 개발한다.

제안 방법

• 엔티티와 쿼리를 2차원 구간-원뿔의 데카르트 곱으로 표현한다; 엔티티는 원뿔의 개구가 0이고, 정답 집합은 쿼리 원뿔 내에 포함된 원뿔들로 대응한다.
• relation에 대한 쿼리 임베딩을 변환하는 프로젝션 연산자 f_r을 MLP 기반의 매개 변환으로 정의한다(원뿔 매개변수에 대해).
• 교집합은 축 매개변수의 의미 중심 평균과 원뿔의 입구(개방도)의 카드inality 기반 최솟값(CardMin)을 계산하여 모델링한다.
• 합집합은 각 판별 가능한 원뿔의 집합을 사용한 최종 합집합 단계(DNF 형식)로 모델링한다.
• 부정은 원뿔의 닫힘 보완을 통해 보완이 원뿔로 남도록 하고, 부정에 필요한 theta_ax 및 theta_ap 변환을 도출한다.
• 거리 기반 목표를 사용하여 외부 거리(d_con)와 내부 거리, 부정 분기에 대한 최솟값(d_dis)을 결합하고 음수 샘플링으로 학습한다.

실험 결과

연구 질문

• RQ1 기하학적 원뿔 기반 임베딩 모델이 KG 질의응답에서 존재량 추론, 교집합, 합집합, 부정 등 모든 FOL 연산을 충실하게 표현할 수 있는가?
• RQ2 원뿔 기반 임베딩이 특히 부정을 포함하는 질의에서 다중 홉 추론 성능과 일반화 능력을 향상시키는가? 최신 베이스라인과 비교했을 때 어떤가?
• RQ3 개구와 축 매개변수가 정답 집합의 카디널리티 및 쿼리 의미와 어떤 상관 관계를 보이는가?
• RQ4 DNF(합성 표준형) 형식은 기하 기반 QE 모델에서 합집합 처리에 필수적인가?

주요 결과

데이터셋	모델	1p	2p	3p	2i	3i	pi	ip	2u	up	AVG
FB15k	GQE	53.9	15.5	11.1	40.2	52.4	27.5	19.4	22.3	11.7	28.2
FB15k	Q2B	70.5	23.0	15.1	61.2	71.8	41.8	28.7	37.7	19.0	40.1
FB15k	B ETA E	65.1	25.7	24.7	55.8	66.5	43.9	28.1	40.1	25.2	41.6
FB15k	ConE	73.3	33.8	29.2	64.4	73.7	50.9	35.7	55.7	31.4	49.8
FB237	GQE	35.2	7.4	5.5	23.6	35.7	16.7	10.9	8.4	5.8	16.6
FB237	Q2B	41.3	9.9	7.2	31.1	45.4	21.9	13.3	11.9	8.1	21.1
FB237	B ETA E	39.0	10.9	10.0	28.8	42.5	22.4	12.6	12.4	9.7	20.9
FB237	ConE	41.8	12.8	11.0	32.6	47.3	25.5	14.0	14.5	10.8	23.4
NELL	GQE	33.1	12.1	9.9	27.3	35.1	18.5	14.5	8.5	9.0	18.7
NELL	Q2B	42.7	14.5	11.7	34.7	45.8	23.2	17.4	12.0	10.7	23.6
NELL	B ETA E	53.0	13.0	11.4	37.6	47.5	24.1	14.3	12.2	8.5	24.6
NELL	ConE	53.1	16.1	13.9	40.0	50.8	26.3	17.5	15.3	11.3	27.2

• ConE는 부정이 없는 벤치마크에서 최신 기반선(BETA E)을 평균 19.7% 향상시키며 FB15k, FB237, NELL 전반에서 우수한 성능을 보인다.
• 부정이 없는 질의에서 Q2B 대비 상대적 개선이 최대 24.2%에 달한다.
• 부정에 대해서는 FB15k, FB237, NELL 전반에서 BETA E보다 더 높은 MRR을 달성하며(FB15k 평균 14.8 vs 11.8, FB237 5.9 vs 5.4, NELL 6.4 vs 5.9의 평균 이득).
• ConE는 부정에 대해 효과적으로 작동하며(2in, 3in, inp, pin, pni 등), 데이터셋 전반에서 부정 관련 메트릭에서 주목할 만한 이득을 달성한다.
• 교집합에 대한 의미적 평균 메커니즘과 입구 최소화(CardMin) 및 DeepSets를 통한 아파처 최소화를 도입하여 확장 가능한 교집합 처리를 가능하게 한다.
• 실험 결과는 데이터세트 및 질의 구조에 걸친 상세한 MRR 표 값을 포함하며 베이스라인 대비 일관된 향상을 보여준다.