[논문 리뷰] Complex Query Answering on Eventuality Knowledge Graph with Implicit Logical Constraints

Jiaxin Bai, Xin Liu외 3명|arXiv (Cornell University)|2023. 05. 30.

Semantic Web and Ontologies인용 수 5

한 줄 요약

이 논문은 사건 지식 그래프(EVKGs)에 대한 추론을 위한 Complex Eventuality Query Answering(CEQA) 프레임워크를 소개한다. 이 프레임워크는 사건 발생에 대해 명시적이고 암묵적인 논리적 제약 조건—특히 시간적 및 인과적 순서—을 강제한다. 이는 자동 증명기 기반으로 구성된 CEQA 벤치마크에서 최신 신경망 질의 인코더 성능을 크게 향상시키는 메모리 강화 질의 인코딩(MEQE) 방법을 제안하며, ASER 데이터셋에서 최신 기술 성능을 달성한다.

ABSTRACT

Querying knowledge graphs (KGs) using deep learning approaches can naturally leverage the reasoning and generalization ability to learn to infer better answers. Traditional neural complex query answering (CQA) approaches mostly work on entity-centric KGs. However, in the real world, we also need to make logical inferences about events, states, and activities (i.e., eventualities or situations) to push learning systems from System I to System II, as proposed by Yoshua Bengio. Querying logically from an EVentuality-centric KG (EVKG) can naturally provide references to such kind of intuitive and logical inference. Thus, in this paper, we propose a new framework to leverage neural methods to answer complex logical queries based on an EVKG, which can satisfy not only traditional first-order logic constraints but also implicit logical constraints over eventualities concerning their occurrences and orders. For instance, if we know that "Food is bad" happens before "PersonX adds soy sauce", then "PersonX adds soy sauce" is unlikely to be the cause of "Food is bad" due to implicit temporal constraint. To facilitate consistent reasoning on EVKGs, we propose Complex Eventuality Query Answering (CEQA), a more rigorous definition of CQA that considers the implicit logical constraints governing the temporal order and occurrence of eventualities. In this manner, we propose to leverage theorem provers for constructing benchmark datasets to ensure the answers satisfy implicit logical constraints. We also propose a Memory-Enhanced Query Encoding (MEQE) approach to significantly improve the performance of state-of-the-art neural query encoders on the CEQA task.

연구 동기 및 목표

• 사건 중심 지식 그래프(EVKGs)에 대한 복잡한 질의 답변(CQA)에서 사건 발생 및 시간 순서에 대한 암묵적 논리적 제약 조건에 대한 공식화 부족 문제를 해결하기 위해.
• 인과성 및 사건 순서와 같은 암묵적 제약 조건을 철저히 통합하는 새로운 문제 정의인 복잡한 사건 질의 답변(CEQA)을 공식화하기 위해.
• 자동 증명기를 사용하여 논리적 일관성을 보장하고 답변에 암묵적 제약 조건(예: 시간적 우선순위 및 인과적 타당성)을 강제하는 CEQA용 벤치마크 데이터셋을 구축하기 위해.
• 장기적 의존성과 제약 조건 상호작용을 포착하는 메모리 강화 아키텍처를 도입하여 기존 신경망 질의 인코더의 성능을 향상시키기 위해.
• MEQE가 기존의 신경망 질의 인코더가 EVKG 상의 복잡한 논리적 질의를 처리하는 데 있어 성능을 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• CEQA를 CQA의 확장으로 정의하여 사건 발생과 시간 순서를 명시적으로 모델링하고, 인과성 및 순서와 같은 암묵적 제약 조건을 포함한다.
• 자동 증명기를 사용하여 논리적으로 일관된 답변을 생성함으로써, 시간적 우선순위 및 인과적 타당성과 같은 암묵적 제약 조건을 준수하는 답변을 보장하는 벤치마크 데이터셋을 구축한다.
• 외부 메모리를 통합하여 논리적 제약 조건를 저장하고 추론하는 메모리 강화 질의 인코딩(MEQE) 모듈을 설계하여 질의 표현의 정확도를 향상시킨다.
• GQE, NRN 등 최신 기술의 신경망 질의 인코더에 MEQE를 통합하여 EVKG 상의 복잡한 논리적 질의를 처리하는 능력을 향상시킨다.
• 복잡한 질의를 선형화하기 위해 시퀀스 인코딩 전략을 사용하고, 이를 MEQE가 강화된 인코더에 입력하여 엔드 투 엔드 학습 및 추론을 수행한다.
• 사전 학습된 임베딩과 메시지 전달 메커니즘을 활용하여 불완전한 EVKG 상에서도 일반화 능력과 추론 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 EVKG에서 사건 발생 및 시간 순서에 대한 암묵적 논리적 제약 조건을 포함하여 복잡한 질의 답변를 어떻게 공식화할 수 있는가?
• RQ2 자동 증명기를 사용하여 CEQA용 논리적으로 일관된 벤치마크 데이터셋을 생성하는 데 얼마나 효과적인가?
• RQ3 메모리 보강 신경망 아키텍처는 EVKG 상의 복잡한 논리적 질의에 대해 기존 질의 인코더의 추론 성능을 향상시킬 수 있는가?
• RQ4 인과성 및 순서와 같은 암묵적 제약 조건은 사건 추론에서 질의 답변의 논리적 일관성에 어떻게 영향을 미치는가?
• RQ5 MEQE는 EVKG 상의 복잡한 논리적 질의에서 표준 신경망 질의 인코더 대비 어떤 성능 향상을 보이는가?

주요 결과

• 제안된 CEQA 프레임워크는 인과성, 순서 및 시간 순서와 같은 암묵적 논리적 제약 조건을 통합함으로써 EVKG 상의 복잡한 질의 답변를 성공적으로 공식화한다.
• 자동 증명기를 사용하여 벤치마크 데이터셋을 생성함으로써 모든 답변이 논리적으로 일관되며 암묵적 제약 조건을 준수함을 보장하여 데이터셋의 신뢰성을 향상시킨다.
• MEQE는 CEQA 작업에서 최신 기술의 신경망 질의 인코더 성능을 크게 향상시키며, ASER 벤치마크에서 F1 점수 최대 23.22% 향상을 보고하였다.
• 메모리 보강 추론 메커니즘 덕분에 MEQE 모델은 합성, 인과, 순차적 질의를 포함한 다양한 질의 유형에서 뛰어난 일반화 능력을 보였다.
• GQE, NRN, KG-Transformer와 같은 기존 방법보다 CEQA 벤치마크에서 프레임워크가 뛰어난 성능을 보이며 제약 조건 인식 질의 인코딩의 효과성을 확인하였다.
• 결과는 암묵적 제약 조건을 모델링하는 것이 사건 지식 그래프에서 강력한 논리적 추론을 위해 필수적임을 검증하였으며, 엔티티 중심 추론을 넘어서 System II 스타일의 인지로의 전환을 가능하게 한다.