[논문 리뷰] Outlining and Filling: Hierarchical Query Graph Generation for Answering Complex Questions over Knowledge Graphs

Yongrui Chen, Huiying Li외 3명|arXiv (Cornell University)|2021. 11. 01.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 복잡한 지식 그래프 질의 응답(KGQA)를 위한 계층적 질의 그래프 생성 모델을 제안하며, SPARQL 질의를 표현하기 위한 새로운 그래프 문법(AQG)을 사용하여 두 단계의 엔드 투 엔드 자동 회귀 디코딩을 가능하게 한다: 먼저 질의 구조를 개략적으로 생성하고, 그 다음에 실체와 관계를 채운다. 이 방법은 검색 공간을 크게 줄이고 局부적 모호성을 피할 수 있으며, 세 가지 복잡한 KGQA 벤치마크에서 최신 기술 수준의 성능을 달성한다. 특히 사전 학습된 모델을 활용할 경우 뛰어난 성능을 발휘한다.

ABSTRACT

Query graph construction aims to construct the correct executable SPARQL on the KG to answer natural language questions. Although recent methods have achieved good results using neural network-based query graph ranking, they suffer from three new challenges when handling more complex questions: 1) complicated SPARQL syntax, 2) huge search space, and 3) locally ambiguous query graphs. In this paper, we provide a new solution. As a preparation, we extend the query graph by treating each SPARQL clause as a subgraph consisting of vertices and edges and define a unified graph grammar called AQG to describe the structure of query graphs. Based on these concepts, we propose a novel end-to-end model that performs hierarchical autoregressive decoding to generate query graphs. The high-level decoding generates an AQG as a constraint to prune the search space and reduce the locally ambiguous query graph. The bottom-level decoding accomplishes the query graph construction by selecting appropriate instances from the preprepared candidates to fill the slots in the AQG. The experimental results show that our method greatly improves the SOTA performance on complex KGQA benchmarks. Equipped with pre-trained models, the performance of our method is further improved, achieving SOTA for all three datasets used.

연구 동기 및 목표

• 중첩된 서브쿼리, 큰 검색 공간, 국부적 모호성 등을 포함한 복잡한 SPARQL 질의를 다루는 데에 기존의 러닝-투-랭크 방법의 한계를 해결하기 위해.
• 중첩 쿼리와 집계 함수를 포함한 복잡한 SPARQL 문법을 지원할 수 있도록 질의 그래프 표현 방식을 재정의하기 위해.
• 계층적이고 구조 제약이 있는 디코딩을 통해 후보 질의 그래프 생성 시 검색 공간을 줄이고 국부적 모호성을 피하기 위해.
• 구조 제약과 사전 학습된 언어 모델을 활용하여 KGQA에서 제로샷 및 피어샷 일반화 성능을 향상시키기 위해.

제안 방법

• 각 SPARQL 절을 정점과 간선을 가진 부분 그래프로 간주하는 새로운 형식 문법인 AQG(Answer Query Graph)를 도입하여, 중첩 쿼리와 집계와 같은 복잡한 SPARQL 구조를 표현할 수 있도록 한다.
• 두 단계의 계층적 자동 회귀 디코딩 프로세스를 제안한다: 먼저 고수준의 AQG 구조(개요화)를 생성하고, 그 다음에 특정 실체, 관계 또는 값을 채우는 단계(채우기)를 수행한다.
• 동적 삽입이 가능한 그래프 문법 기반의 디코딩 전략을 사용하여 생성 과정 중 어떤 시점에서든 의미적 구성 요소를 삽입할 수 있도록 하며, 고정된 트리 구조 제약을 피한다.
• 사전 학습된 언어 모델을 활용하여 자연어 질의(NLQ)의 표현을 향상시키고 일반화 능력을 높이며, 특히 자원이 제한된 환경에서 유리하다.
• 개요화된 AQG에서 유도된 구조 제약을 적용하여 검색 공간을 줄이고, 국소적으로는 올바르지만 전반적으로 잘못된 질의 그래프 생성 가능성을 낮춘다.
• 계층적 생성 프로세스에 대해 교차 엔트로피 손실을 사용하여 엔드 투 엔드 모델을 훈련하고, 디코딩 시 빔 서치를 적용한다.

Figure 1 : Examples of the challenges. (a) depicts a complex SPARQL program with a nested query in ComplexWebQuesions [ 12 ] . (b) illustrates a local ambiguity. The green and gold boxes represent the correct and incorrect query graphs, and the dashed boxes represent their structures. For clarity, w

실험 결과

연구 질문

• RQ1 구조 제약이 있는 계층적 생성 프레임워크는 복잡한 KGQA에서 검색 공간을 줄이고 정확도를 향상시키는 데 효과적인가?
• RQ2 제안된 AQG 문법은 중첩된 서브쿼리와 집계 기능을 포함한 복잡한 SPARQL 질의를 얼마나 잘 표현하는가?
• RQ3 계층적 디코딩은 후보 질의 그래프 생성 시 국부적 모호성을 어느 정도 완화하는가?
• RQ4 사전 정의된 템플릿이나 조건에 의존하지 않고도 모델이 복잡한 KGQA 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 WebQSP, ComplexWebQuestions, CSQA의 세 가지 주요 복잡한 KGQA 벤치마크에서 모두 최신 기술 수준의 성능을 달성한다. 특히 사전 학습된 모델을 통합할 경우 성능 향상이 두드러진다.
• 계층적 생성 전략은 검색 공간을 크게 줄여 효율성과 정확도를 모두 향상시키며, 특히 중첩된 서브쿼리가 포함된 질의에서 두드러진다.
• FILTER 절과 집계를 포함한 복잡한 SPARQL 구문을 다루는 데 있어 기존의 러닝-투-랭크 베이스라인보다 큰 성능 향상을 보이며, 특히 이와 같은 복잡한 질의에서 유의미한 성능 향상을 보인다.
• AQG 문법의 사용은 기존의 질의 그래프가 모델링할 수 없는 복잡한 SPARQL 구조, 예를 들어 중첩된 서브쿼리 등을 정확하게 표현할 수 있도록 한다.
• 사전 학습된 언어 모델을 활용할 경우 모델은 강력한 일반화 능력을 보이며, 제로샷 및 피어샷 설정에서도 성능 향상이 관찰된다.
• 추론 시간이 효율적이며, HGNet은 훈련 및 추론 단계 모두에서 가장 뛰어난 효율성을 보이며, 이는 주로 개요화 단계에서의 검색 공간 감소 덕분이다.

Figure 2 : Examples of generalized triples, query graphs and abstract query graphs. Two dashed boxes of the same color indicate that they correspond. In (b) and (c), the number in parentheses after each vertex name indicates its segment number. The red circle, ?x’(0) in (b), is the vertex representi