[논문 리뷰] Benchmarking the Combinatorial Generalizability of Complex Query Answering on Knowledge Graphs

Zihao Wang, Hang Yin외 1명|arXiv (Cornell University)|2021. 09. 18.

Advanced Graph Neural Networks참고 문헌 18인용 수 4

한 줄 요약

이 논문은 지식 그래프 기반의 복합 질의 응답(CQA)에서 조합적 일반화 능력을 평가하기 위해 301개의 복잡한 질의 유형을 포함하는 대규모 벤치마크인 EFO-1-QA를 소개한다. 이는 이전 데이터셋보다 20배 이상 크며, 복합 질의의 다양성을 체계적으로 생성하기 위한 7개의 연산자 시스템과 9개의 질의 표현 방식을 사용하는 프레임워크를 제안한다. 이는 훈련 데이터의 다양성이 항상 일반화 성능을 향상시키지 않는다는 점을 드러내며, 현재의 훈련 패러다임에 도전한다.

ABSTRACT

Complex Query Answering (CQA) is an important reasoning task on knowledge graphs. Current CQA learning models have been shown to be able to generalize from atomic operators to more complex formulas, which can be regarded as the combinatorial generalizability. In this paper, we present EFO-1-QA, a new dataset to benchmark the combinatorial generalizability of CQA models by including 301 different queries types, which is 20 times larger than existing datasets. Besides, our work, for the first time, provides a benchmark to evaluate and analyze the impact of different operators and normal forms by using (a) 7 choices of the operator systems and (b) 9 forms of complex queries. Specifically, we provide the detailed study of the combinatorial generalizability of two commonly used operators, i.e., projection and intersection, and justify the impact of the forms of queries given the canonical choice of operators. Our code and data can provide an effective pipeline to benchmark CQA models.

연구 동기 및 목표

• 지식 그래프에서 복합 질의 응답(CQA)의 조합적 일반화 능력을 평가하기 위한 종합적인 벤치마크가 부족한 문제를 해결하기 위해.
• 다양한 EFO-1 질의 유형, 정규형, 훈련 데이터를 체계적으로 생성할 수 있는 확장 가능하고 유연한 프레임워크를 제공하기 위해.
• 다양한 연산자 시스템과 질의 정규형이 모델의 일반화 능력에 미치는 영향을 분석하기 위해.
• 훈련 질의의 다양성이 분포 외 일반화 성능에 미치는 영향을 분석하기 위해.
• 증가하는 훈련 유형에 따라 일반화 성능 향상이 항상 일어나지 않는다는 점을 드러내며, 기존의 훈련 데이터 확장에 대한 가정을 도전하기 위해.

제안 방법

• 존재적 제1차 논리 질의(단일 자유 변수 포함, EFO-1)의 조합적 공간을 체계적으로 탐색하기 위한 종합적인 프레임워크를 설계하기 위해.
• 투영, 결합, 논리합, 부정, 집합 차집합을 조합한 7개의 서로 다른 연산자 시스템 정의하기 위해.
• 논리적 동치성을 활용해 각 질의를 최대 9개의 다른 정규형으로 변환하여 표현 방식의 영향을 분석할 수 있도록 하기 위해.
• Freebase, YAGO, NELL 세 개의 지식 그래프에서 질의와 그 응답 집합을 샘플링하여 EFO-1-QA 데이터셋을 구축하기 위해.
• 다양한 정규형과 훈련 방식에서 여러 CQA 모델(BetaE, LogicE, NewLook 등)을 훈련하고 평가하기 위해.
• MRR, HIT@k, RA-Oracle와 같은 지표를 사용해 예측 불가능한 질의 유형에 대한 일반화 능력을 평가하기 위해.

실험 결과

연구 질문

• RQ1 다른 연산자 시스템의 선택이 예측 불가능한 질의 유형에서 CQA 모델의 일반화 성능에 어떤 영향을 미치는가?
• RQ2 동일한 논리적 질의의 서로 다른 정규형이 모델의 일반화 및 성능에 어느 정도의 영향을 미치는가?
• RQ3 훈련 질의 유형의 수를 늘일수록 항상 분포 외 일반화 성능이 향상되는가?
• RQ4 다른 논리적 표현 방식(예: DNF + IU 대비 DNF + IUD)이 모델 학습과 일반화에 어떤 영향을 미치는가?
• RQ5 질의 구조의 복잡도(예: 체인 길이, 연산자 수 등)가 모델의 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• EFO-1-QA 데이터셋은 기존의 벤치마크보다 20배 이상 큰 301개의 고유한 질의 유형을 포함하고 있으며, 이는 이전 데이터셋보다 훨씬 더 도전적인 수준임을 보여준다.
• 다양한 질의 유형으로 훈련된 모델이 항상 더 잘 일반화되지는 않으며, 훈련 다양성이 증가함에 따라 성능 향상은 정점에 도달하거나 오히려 감소하는 경향을 보이며, 이는 비단조화적인 관계를 시사한다.
• 모든 모델과 지식 그래프에서 DNF + IU 정규형이 MRR 및 HIT@k 측면에서 다른 정규형보다 일관되게 뛰어난 성능을 보였다.
• 명시적 부정 연산자 대신 집합 차집합(교차와 부정의 조합을 통해)을 사용하는 것이, 부정을 기본 연산자로 간주하는 것보다 더 나은 일반화 성능을 낳는다.
• RA-Oracle 지표는 EFO-1-QA로 훈련된 모델가 이전 데이터셋으로 훈련된 모델보다 더 잘 일반화됨을 보여주며, 이는 이 벤치마크가 더 높은 난이도와 더 높은 대표성을 지닌다는 것을 확인한다.
• 이 프레임워크를 통해 정규형과 연산자 시스템을 체계적으로 분석할 수 있었으며, 질의 표현 방식이 모델 학습과 일반화에 상당한 영향을 미친다는 점을 드러냈다.