[논문 리뷰] SQALER: Scaling Question Answering by Decoupling Multi-Hop and Logical Reasoning

Mattia Atzeni, Jasmina Bogojeska외 1명|arXiv (Cornell University)|2021. 10. 27.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

SQALER는 다중 힙 추론과 논리적 추론을 분리함으로써 엣지 또는 노드 수가 아닌 관계 유형 수에 대해 선형 확장성을 가지는 지식 기반 질의 응답(KBQA)을 위한 이단계적 접근법을 제안한다. 먼저 공합된 그래프에서 관계 수준 모델을 사용해 후보 답변을 생성한 후, 국소화된 부분 그래프에서 엣지 수준 모델을 사용해 이를 정밀 조정함으로써, WebQuestionsSP에서 최신 기술 수준의 성능을 달성하고 기존 방법에 비해 수개의 주요 차원 향상된 확장성을 확보한다. 이는 학습 분포를 초월한 복합 일반화를 가능하게 한다.

ABSTRACT

State-of-the-art approaches to reasoning and question answering over knowledge graphs (KGs) usually scale with the number of edges and can only be applied effectively on small instance-dependent subgraphs. In this paper, we address this issue by showing that multi-hop and more complex logical reasoning can be accomplished separately without losing expressive power. Motivated by this insight, we propose an approach to multi-hop reasoning that scales linearly with the number of relation types in the graph, which is usually significantly smaller than the number of edges or nodes. This produces a set of candidate solutions that can be provably refined to recover the solution to the original problem. Our experiments on knowledge-based question answering show that our approach solves the multi-hop MetaQA dataset, achieves a new state-of-the-art on the more challenging WebQuestionsSP, is orders of magnitude more scalable than competitive approaches, and can achieve compositional generalization out of the training distribution.

연구 동기 및 목표

• 대규모 지식 그래프(KG)에서 기존 신경망 방법이 엣지 또는 노드 수에 따라 확장성이 떨어지는 지식 기반 질의 응답(KBQA)의 확장성 문제를 해결하기 위해.
• 다중 힙 추론과 논리적 추론이 표현력 손실 없이 분리될 수 있음을 입증하여 효율적이고 확장 가능한 KBQA를 가능하게 하기 위해.
• 관계 유형 수에 대해 선형으로 확장되는 방법을 개발하여, 일반적으로 엣지 또는 노드 수보다 훨씬 작은 관계 유형 수를 기반으로 하여 실세계의 수백만 개의 실체를 포함하는 지식 그래프에 적용 가능하게 하기 위해.
• 기존에 학습된 추론 패턴을 조합하여 새로운 방식으로 결합된 질문에 대해 일반화할 수 있도록 구성된 일반화를 달성하기 위해.

제안 방법

• 이 방법은 공합된 그래프에서 작동하는 관계 수준 모델 φ를 사용하며, 동일한 관계 유형의 엣지는 병합되어 복잡도가 엣지 또는 노드 수가 아닌 관계 유형 수에 따라 확장되도록 한다.
• 관계 수준 모델은 질문에 언급된 실체들로부터 다중 힙 관계 체인을 수행하여 후보 답변 집합 ˜AQ를 생성하며, 이로써 모든 참 답변이 ˜AQ에 포함됨을 보장한다.
• 다음으로, 후보 답변을 중심으로 한 부분 그래프 G(˜AQ)에 대해 엣지 수준 모델 ψ를 적용하여 논리적 추론을 통해 정확한 답변 집합 AQ를 복구한다.
• 공합된 그래프는 학습 이전에 한 번만 사전 계산되며, 선형 비용만 발생시키며 관계 수준 모델의 효율적 학습 및 추론을 가능하게 한다.
• 엣지 수준 모델은 후보 집합 ˜AQ에서만 답변을 선택하도록 제약을 두어 정확성과 효율성을 보장한다.
• 이 접근법은 표현력과 계산 복잡도 측면에서 이론적으로 기반을 두며, 이중 단계 과정이 어떤 KBQA 문제라도 해결할 수 있는 능력을 유지함을 보여준다.

실험 결과

연구 질문

• RQ1 KBQA에서 다중 힙 추론과 논리적 추론을 표현력 손실 없이 분리할 수 있는가?
• RQ2 엣지 또는 노드 수가 아닌 관계 유형 수에 따라 확장하는 것이 실세계의 대규모 지식 그래프에 대한 KBQA의 실용적 적용을 가능하게 하는가?
• RQ3 먼저 관계 체인을 통해 후보를 생성하고, 이후 국소적 논리적 추론으로 정밀 조정하는 이중 단계 접근법이 종단 간 모델보다 더 나은 일반화 성능을 달성할 수 있는가?
• RQ4 이 방법은 학습 분포 외부의 질문에 대해 얼마나 잘 복합 일반화를 달성하는가?

주요 결과

• SQALER는 도전적인 WebQuestionsSP 데이터셋에서 새로운 최신 기술 수준의 성능을 달성하여 기존 방법을 능가한다.
• 경쟁 기법에 비해 수개의 주요 차원 향상된 확장성을 보이며, 수백만 개의 실체를 포함하는 지식 그래프에서 효과적인 추론을 가능하게 한다.
• 관계 수준 모델만으로도 MetaQA에서 강력한 성능을 달성하여, 관계 체인을 통한 다중 힙 추론이 간단한 질문에 충분함을 확인한다.
• 엣지 수준 모델은 WebQuestionsSP에서 복잡한 질문에 필수적이며, 관계 시퀀스만으로는 정답을 식별하기에 부족함을 보여준다.
• 관계 공합은 경로 수를 최대 두 자리 수준으로 감소시켜 메모리 및 계산 비용을 크게 낮춘다.
• 모델는 복합 일반화를 달성하여, 학습 중에 존재하지 않았던 기존 추론 패턴의 새로운 조합을 포함한 질문을 정확히 답변할 수 있다.