[論文レビュー] Complex Query Answering on Eventuality Knowledge Graph with Implicit Logical Constraints

Jiaxin Bai, Xin Liu+3 more|arXiv (Cornell University)|May 30, 2023

Semantic Web and Ontologies被引用数 5

ひとこと要約

本論文は、出来事知識グラフ（EVKG）上で、出来事発生の明示的および暗黙的な論理制約（特に時間的および因果的順序）を強制する、複雑な出来事クエリ回答（CEQA）というフレームワークを導入する。また、定理プローバーを用いて構築されたCEQAベンチマークで、最先端のニューラルクエリエンコーダーの性能を著しく向上させるメモリ強化クエリエンコーディング（MEQE）手法を提案し、ASERデータセットで最先端の性能を達成した。

ABSTRACT

Querying knowledge graphs (KGs) using deep learning approaches can naturally leverage the reasoning and generalization ability to learn to infer better answers. Traditional neural complex query answering (CQA) approaches mostly work on entity-centric KGs. However, in the real world, we also need to make logical inferences about events, states, and activities (i.e., eventualities or situations) to push learning systems from System I to System II, as proposed by Yoshua Bengio. Querying logically from an EVentuality-centric KG (EVKG) can naturally provide references to such kind of intuitive and logical inference. Thus, in this paper, we propose a new framework to leverage neural methods to answer complex logical queries based on an EVKG, which can satisfy not only traditional first-order logic constraints but also implicit logical constraints over eventualities concerning their occurrences and orders. For instance, if we know that "Food is bad" happens before "PersonX adds soy sauce", then "PersonX adds soy sauce" is unlikely to be the cause of "Food is bad" due to implicit temporal constraint. To facilitate consistent reasoning on EVKGs, we propose Complex Eventuality Query Answering (CEQA), a more rigorous definition of CQA that considers the implicit logical constraints governing the temporal order and occurrence of eventualities. In this manner, we propose to leverage theorem provers for constructing benchmark datasets to ensure the answers satisfy implicit logical constraints. We also propose a Memory-Enhanced Query Encoding (MEQE) approach to significantly improve the performance of state-of-the-art neural query encoders on the CEQA task.

研究の動機と目的

• 出来事中心の知識グラフ（EVKG）における複雑なクエリ回答（CQA）の形式的定式化の不足、特に出来事発生に関する暗黙的な論理的制約および時間的順序の問題に対処すること。
• 出来事系列における因果関係や連続性といった暗黙的制約を厳密に組み込む新しい問題定義、複雑な出来事クエリ回答（CEQA）を形式化すること。
• 自動定理プローバーを用いて論理的一致性を保証し、答えに暗黙的制約（時間的優先順位や因果的妥当性など）を強制するCEQA用ベンチマークデータセットを構築すること。
• 長距離依存関係や制約相互作用を捉えるために、外部メモリを統合するメモリ強化アーキテクチャを導入し、CEQA用のニューラルクエリエンコーディングモデルの性能を向上させること。
• MEQEが、EVKG上での複雑な論理的クエリに対して、既存のニューラルクエリエンコーダーの性能を顕著に向上させることを実証すること。

提案手法

• CEQAをCQAの拡張として定義し、出来事の発生および時間的順序を明示的にモデル化するとともに、因果関係や連続性といった暗黙的制約を含める。
• 自動定理プローバーを用いて論理的に一貫した答えを生成するベンチマークデータセットを構築し、時間的優先順位や因果的妥当性といった暗黙的制約を満たすようにする。
• 外部メモリを統合して論理的制約を格納・推論する、メモリ強化クエリエンコーディング（MEQE）モジュールを設計し、クエリ表現の忠実性を向上させる。
• GQE、NRNなどの最先端のニューラルクエリエンコーダーにMEQEを統合し、EVKG上での複雑な論理的クエリ処理能力を強化する。
• 複雑なクエリを線形化するためのシーケンスエンコーディング戦略を用い、MEQE強化エンコーダーに入力することで、エンドツーエンドの学習および推論を実現する。
• 事前学習された埋め込みとメッセージパッシング機構を活用し、不完全なEVKG上でも一般化性能および推論能力を向上させる。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、EVKGにおける出来事発生および時間的順序に関する暗黙的論理的制約を含める形で、複雑なクエリ回答を形式化できるか？
• RQ2 定理プローバーは、CEQA用の論理的に一貫したベンチマークデータセットを生成するためにどの程度有効に利用できるか？
• RQ3 メモリ拡張型ニューラルアーキテクチャは、EVKG上での複雑な論理的クエリに対して、既存のクエリエンコーダーの推論性能を向上させることができるか？
• RQ4 因果関係や連続性といった暗黙的制約は、出来事推論におけるクエリの答えの論理的一致性にどのように影響を与えるか？
• RQ5 MEQEは、EVKG上での複雑な論理的クエリに対して、標準的なニューラルクエリエンコーダーと比較してどの程度の性能向上を達成するか？

主な発見

• 提案されたCEQAフレームワークは、因果関係、連続性、時間的順序といった暗黙的論理的制約を組み込むことで、EVKG上での複雑なクエリ回答を効果的に形式化した。
• 定理プローバーを用いたベンチマークデータセット生成により、すべての答えが論理的に一貫しており、暗黙的制約を満たしていることが保証され、データセットの信頼性が向上した。
• MEQEは、CEQAタスクにおける最先端のニューラルクエリエンコーダーの性能を顕著に向上させ、ASERベンチマークでF1スコア最大23.22%の向上を報告した。
• MEQEモデルは、メモリ拡張推論機構のおかげで、結合的、因果的、順序的クエリを含む多様なクエリタイプにおいて優れた一般化性能を示した。
• GQE、NRN、KG-Transformerといった既存手法よりも、CEQAベンチマークで本フレームワークが優れた性能を示し、制約認識型クエリエンコーディングの有効性を確認した。
• 結果から、出来事知識グラフにおける強固な論理的推論を実現するには、暗黙的制約のモデル化が不可欠であり、エンティティ中心の推論からSystem II的認知へと移行する必要があることが妥当性を確認した。