[논문 리뷰] Question Answering over Knowledge Bases by Leveraging Semantic Parsing and Neuro-Symbolic Reasoning.

Pavan Kapanipathi, Ibrahim Abdelaziz외 28명|arXiv (Cornell University)|2020. 12. 03.

Topic Modeling참고 문헌 54인용 수 26

한 줄 요약

이 논문은 추상 의미 표현(AMR)을 통한 의미 분석, AMR에서 논리 쿼리를 생성하기 위한 경로 기반 방법, 그리고 지식 기반에 대한 추론을 위한 논리적 신경망(LNN)을 사용하는 신경-기호 질문 응답 시스템인 NSQA를 제안한다. 종속된 훈련 없이도 QALD-9 및 LC-QuAD 1.0에서 최고 성능을 달성하는 모듈러형, 과제 일반적인 아키텍처이다.

ABSTRACT

Knowledge base question answering (KBQA) is an important task in Natural Language Processing. Existing approaches face significant challenges including complex question understanding, necessity for reasoning, and lack of large training datasets. In this work, we propose a semantic parsing and reasoning-based Neuro-Symbolic Question Answering(NSQA) system, that leverages (1) Abstract Meaning Representation (AMR) parses for task-independent question under-standing; (2) a novel path-based approach to transform AMR parses into candidate logical queries that are aligned to the KB; (3) a neuro-symbolic reasoner called Logical Neural Net-work (LNN) that executes logical queries and reasons over KB facts to provide an answer; (4) system of systems approach,which integrates multiple, reusable modules that are trained specifically for their individual tasks (e.g. semantic parsing,entity linking, and relationship linking) and do not require end-to-end training data. NSQA achieves state-of-the-art performance on QALD-9 and LC-QuAD 1.0. NSQA's novelty lies in its modular neuro-symbolic architecture and its task-general approach to interpreting natural language questions.

연구 동기 및 목표

• 지식 기반 질문 응답(KBQA)에서 복잡한 질문 이해와 추론 문제를 해결하기 위해.
• KBQA 시스템에 대한 대규모 종단 간 훈련 데이터 부족 문제를 해결하기 위해.
• 의미 분석, 엔티티 연결, 관계 연결을 별도의 재사용 가능한 구성 요소로 분리하는 과제 일반적인 모듈러형 접근법을 개발하기 위해.
• AMR 파싱에서 유도된 논리 쿼리와 신경-기호 실행을 통합하여 지식 기반에 대한 추론을 향상시키기 위해.
• 종단 간 최적화 없이도 벤치마크 KBQA 데이터셋에서 최고 성능을 달성하기 위해.

제안 방법

• 자연어 질문의 과제 독립적 이해를 가능하게 하기 위해 추상 의미 표현(AMR) 파싱을 활용한다.
• 지식 기반 스키마와 일치하는 후보 논리 쿼리를 생성하기 위해 새로운 경로 기반 접근법을 적용한다.
• 논리적 신경망(LNN)을 신경-기호 추론기로 활용하여 논리 쿼리를 실행하고 지식 기반 사실에서 답변을 유추한다.
• 의미 분석, 엔티티 연결, 관계 연결을 위한 독립적으로 훈련된 모듈을 통합하는 시스템-오브-시스템 아키텍처를 설계한다.
• 각 모듈을 자체 과제에서 훈련함으로써 종단 간 훈련을 피함으로써 모듈성과 재사용성을 향상시킨다.
• 경로 추출과 논리 쿼리 생성을 통해 AMR에서 유도된 쿼리를 지식 기반 스키마와 정렬함으로써 정밀한 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 모듈러형, 신경-기호 아키텍처는 종단 간 훈련 데이터가 없이도 KBQA 성능을 향상시킬 수 있는가?
• RQ2 AMR 파싱은 KBQA에서 과제 독립적 질문 이해를 얼마나 효과적으로 지원하는가?
• RQ3 AMR 파싱을 논리 쿼리로 변환하는 경로 기반 방법이 추론 정확도를 얼마나 향상시키는가?
• RQ4 논리적 신경망(LNN)은 지식 기반에서 논리 쿼리를 효과적으로 실행하여 정확한 답변을 도출할 수 있는가?
• RQ5 시스템-오브-시스템 설계는 표준 KBQA 벤치마크에서 최고 성능을 달성할 수 있는가?

주요 결과

• NSQA는 QALD-9 벤치마크에서 최고 성능을 달성하여 이전 방법보다 질문 응답 정확도에서 뛰어난 성능을 보였다.
• 시스템은 LC-QuAD 1.0 벤치마크에서도 최고 성능을 기록하여 다양한 질문 유형에 대한 강력한 일반화 능력을 보였다.
• 모듈러 설계 덕분에 의미 분석, 엔티티 연결, 관계 연결 등의 구성 요소를 높은 수준으로 재사용하고 독립적으로 훈련할 수 있었다.
• AMR 파싱의 사용으로 과제 특화 최적화 없이도 강력하고 과제 독립적인 질문 이해가 가능했다.
• 경로 기반 쿼리 생성 방법은 자연어 질문을 지식 기반 스키마와 일치하는 실행 가능한 논리 쿼리로 효과적으로 매핑했다.
• LNN 통합 덕분에 지식 기반 사실에 대한 신뢰할 수 있는 신경-기호 추론이 가능해져 논리적 일관성을 통해 정답 정확도가 향상되었다.