[논문 리뷰] KQA Pro: A Large Diagnostic Dataset for Complex Question Answering over Knowledge Base.

Jiaxin Shi, Shulin Cao외 6명|arXiv (Cornell University)|2020. 07. 08.

Topic Modeling참고 문헌 22인용 수 12

한 줄 요약

KQA Pro는 지식 기반에서 복잡한 질문에 대한 답변을 위한 120K개의 대규모이고 다양한 질문-답변 예제로 구성된 데이터셋으로, 재귀적 템플릿과 인크루트된 번역을 통해 생성되었으며, 추론을 모델링하기 위한 관련 SPARQL 쿼리와 기능 프로그램을 포함한다. 최신 기술 모델이 35.15%의 정확도를 기록한 반면 인간의 성능은 97.5%에 이를 정도로 복합 추론 능력 향상 여건이 크다.

ABSTRACT

Complex question answering over knowledge base (Complex KBQA) is challenging because it requires the compositional reasoning capability. Existing benchmarks have three shortcomings that limit the development of Complex KBQA: 1) they only provide QA pairs without explicit reasoning processes; 2) questions are either generated by templates, leading to poor diversity, or on a small scale; and 3) they mostly only consider the relations among entities but not attributes. To this end, we introduce KQA Pro, a large-scale dataset for Complex KBQA. We generate questions, SPARQLs, and functional programs with recursive templates and then paraphrase the questions by crowdsourcing, giving rise to around 120K diverse instances. The SPARQLs and programs depict the reasoning processes in various manners, which can benefit a large spectrum of QA methods. We contribute a unified codebase and conduct extensive evaluations for baselines and state-of-the-arts: a blind GRU obtains 31.58\%, the best model achieves only 35.15\%, and humans top at 97.5\%, which offers great research potential to fill the gap.

연구 동기 및 목표

• 복잡한 지식 기반 질문-답변(KBQA)을 위한 대규모, 다양한, 추론 흐름을 포함한 데이터셋의 부족을 해결한다.
• 기존 벤치마크의 한계를 극복한다. 즉, 명시적인 추론 과정 부재, 질문 다양성 저하, 실체 속성 고려 부족 문제를 해결한다.
• 통합된 코드베이스와 포괄적인 평가 세트를 제공하여 복합 KBQA 분야의 연구 표준화 및 발전을 이룬다.
• 지식 기반에서 다중 힙 추론, 속성 기반 추론, 복합 쿼리 구성 등을 처리할 수 있는 모델 개발을 가능하게 한다.

제안 방법

• 재귀적 템플릿을 사용하여 질문과 SPARQL 쿼리를 생성함으로써 구조적 다양성과 복합성 보장.
• 인크루트된 번역을 통해 생성된 질문을 다각화하여 언어적 다양성을 증가시키되, 의미적 및 논리적 구조 유지.
• 각 질문에 대해 추론 경로를 명시적으로 표현하는 기능 프로그램과 SPARQL 쿼리를 구성.
• 지식 기반 스키마와 질문 생성 과정에 속성을 포함시켜 관계 기반 및 속성 기반 추론 모두를 커버하도록 보장.
• 동일한 벤치마크에서 다양한 KBQA 모델의 학습, 평가, 비교를 지원하기 위해 통합된 코드베이스 설계.
• 모델의 해석 가능성과 학습을 위해 질문당 다중 추론 흐름(SPARQL 및 기능 프로그램) 포함 구조로 데이터셋 구성.

실험 결과

연구 질문

• RQ1 대규모, 다양한, 추론 흐름이 기록된 데이터셋이 복잡한 KBQA 모델의 성능 향상과 일반화 능력 향상에 기여하는가?
• RQ2 현재의 모델들이 복잡한 KBQA에서 복합 추론과 속성 기반 쿼리를 얼마나 잘 활용하고 있는가?
• RQ3 질문의 언어적 다양성이 KBQA에서 모델의 내성성과 일반화 능력에 어떤 영향을 미치는가?
• RQ4 최신 기술 모델과 인간 성능 사이의 성능 격차는 복잡한 KBQA 과제에서 얼마나 큰가?
• RQ5 기능 프로그램과 SPARQL 쿼리를 추론 지도로 포함시키면 모델 학습 및 해석 가능성 향상에 상당한 기여가 가능한가?

주요 결과

• KQA Pro 데이터셋은 약 120,000개의 다양한 인간의 어휘 다각화된 질문-답변 쌍과 명시적인 추론 흐름을 포함한다.
• 블라인드 GRU 베이스라인은 31.58%의 정확도를 기록하여 새로운 벤치마크에서의 기본 성능를 보여준다.
• 최고 성능 모델도 35.15%의 정확도에 머물러 인간 수준 성능과의 큰 격차를 드러낸다.
• 인간의 성능은 97.5%로, 복잡한 KBQA가 여전히 도전적인 과제이며 향후 개선 여지가 크다는 것을 입증한다.
• SPARQL와 기능 프로그램을 추론 주석으로 포함시켜 KBQA 모델의 더 나은 해석 가능성과 학습 지도를 가능하게 한다.
• 데이터셋의 다양성과 추론 흐름은 신경망 기반, 상징적 추론, 하이브리드 아키텍처 기반 등 다양한 QA 방법의 적용을 지원한다.