[論文レビュー] Benchmarking the Combinatorial Generalizability of Complex Query Answering on Knowledge Graphs

Zihao Wang, Hang Yin+1 more|arXiv (Cornell University)|Sep 18, 2021

Advanced Graph Neural Networks参考文献 18被引用数 4

ひとこと要約

本稿では、知識グラフベースの複雑なクエリ回答（CQA）における組み合わせ的汎化性を評価するための大規模ベンチマークであるEFO-1-QAを紹介する。このベンチマークは301種の複雑なクエリタイプを含み、従来のデータセットと比較して20倍以上に拡大されている。本稿では、7つの演算子システムと9種のクエリ表現を用いて多様なクエリ正規形を体系的に生成するフレームワークを提案し、訓練用クエリの多様性を高めても一般化性能が必ずしも向上しないことが明らかになった。これは現在の訓練パラダイムに疑問を呈するものである。

ABSTRACT

Complex Query Answering (CQA) is an important reasoning task on knowledge graphs. Current CQA learning models have been shown to be able to generalize from atomic operators to more complex formulas, which can be regarded as the combinatorial generalizability. In this paper, we present EFO-1-QA, a new dataset to benchmark the combinatorial generalizability of CQA models by including 301 different queries types, which is 20 times larger than existing datasets. Besides, our work, for the first time, provides a benchmark to evaluate and analyze the impact of different operators and normal forms by using (a) 7 choices of the operator systems and (b) 9 forms of complex queries. Specifically, we provide the detailed study of the combinatorial generalizability of two commonly used operators, i.e., projection and intersection, and justify the impact of the forms of queries given the canonical choice of operators. Our code and data can provide an effective pipeline to benchmark CQA models.

研究の動機と目的

• 知識グラフ上の複雑なクエリ回答（CQA）における組み合わせ的汎化性を評価する包括的なベンチマークの不足に対処すること。
• 多様なEFO-1クエリタイプ、正規形、および訓練データを生成するスケーラブルで拡張可能なフレームワークを提供すること。
• 異なる演算子システムとクエリ正規形がモデルの汎化に与える影響を調査すること。
• 訓練クエリの多様性が分布外一般化性能に与える影響を分析すること。
• 訓練データ拡張に関する仮定を挑戦し、訓練タイプの増加に伴い一般化性能が非単調的に向上することを明らかにすること。

提案手法

• 存在する1階述語論理クエリ（EFO-1）の組み合わせ的空間を体系的に調査する包括的なフレームワークを設計する。
• 射影、論理積、論理和、否定、集合差を組み合わせた7つの異なる演算子システムを定義する。
• 論理的同値性を用いて各クエリを最大9種類の異なる正規形に変換し、表現の影響を分析可能にする。
• Freebase、YAGO、NELLの3つの知識グラフからクエリとその答え集合をサンプリングし、EFO-1-QAデータセットを構築する。
• BetaE、LogicE、NewLookなどの複数のCQAモデルを、異なる正規形と訓練環境で訓練・評価する。
• MRR、HIT@k、RA-Oracleなどの指標を用いて、未知のクエリタイプにおける一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 異なる演算子システムの選択が、未知のクエリタイプにおけるCQAモデルの一般化性能にどのように影響するか？
• RQ2 同じ論理的クエリの異なる正規形が、モデルの一般化とパフォーマンスにどの程度影響を及えるか？
• RQ3 訓練クエリタイプの数を増やすことで、常に分布外一般化性能が向上するのか？
• RQ4 論理的表現（例：DNF + IU と DNF + IUD）の違いが、モデルの学習と一般化にどのように影響するか？
• RQ5 クエリ構造の複雑さ（例：チェーン長、演算子数）がモデルの一般化に与える影響は何か？

主な発見

• EFO-1-QAデータセットには301種の異なるクエリタイプが含まれており、既存のベンチマークと比較して20倍以上に拡大されており、著しく困難なデータセットである。
• 多様なクエリタイプで訓練したモデルが常により良い一般化を示すわけではない。訓練の多様性が増えるにつれてパフォーマンスの向上が止まるか、逆に低下するケースもあり、非単調な関係が示された。
• DNF + IU正規形は、すべてのモデルと知識グラフでMRRおよびHIT@kの観点で他と比較して一貫して優れた性能を示した。
• 否定演算子を直接的に扱うのではなく、交差と否定を組み合わせて集合差を表現することで、より良い一般化性能が得られた。
• RA-Oracle指標により、EFO-1-QAで訓練したモデルは従来のデータセットで訓練したモデルよりも優れた一般化性能を示した。これにより、本ベンチマークの困難さと代表性が裏付けられた。
• フレームワークにより、正規形や演算子システムの体系的アブレーションが可能となり、クエリ表現がモデルの学習と一般化に顕著に影響することが明らかになった。