[논문 리뷰] Knowledge Base Question Answering: A Semantic Parsing Perspective

裕二 池谷, Vardaan Pahuja외 2명|arXiv (Cornell University)|2022. 09. 12.

Topic Modeling인용 수 15

한 줄 요약

이 종합 검토는 지식 기반 질의 응답(KBQA)을 의미 해석의 광범위한 맥락 안에서 위치지으며, 스키마 수준 및 사실 수준의 복잡성이 핵심 과제임을 밝힌다. 이는 관련 의미 해석 작업(예: 텍스트-SQL)에서 유래한 사전 훈련된 언어 모델의 발전과 제약 있는 디코딩을 활용하여 KBQA의 한계를 극복하고, 더 견고하고 일반화 가능하며 종단 간 훈련이 가능한 시스템을 가능하게 하기를 주장한다.

ABSTRACT

Recent advances in deep learning have greatly propelled the research on semantic parsing. Improvement has since been made in many downstream tasks, including natural language interface to web APIs, text-to-SQL generation, among others. However, despite the close connection shared with these tasks, research on question answering over knowledge bases (KBQA) has comparatively been progressing slowly. We identify and attribute this to two unique challenges of KBQA, schema-level complexity and fact-level complexity. In this survey, we situate KBQA in the broader literature of semantic parsing and give a comprehensive account of how existing KBQA approaches attempt to address the unique challenges. Regardless of the unique challenges, we argue that we can still take much inspiration from the literature of semantic parsing, which has been overlooked by existing research on KBQA. Based on our discussion, we can better understand the bottleneck of current KBQA research and shed light on promising directions for KBQA to keep up with the literature of semantic parsing, particularly in the era of pre-trained language models.

연구 동기 및 목표

• 의미 해석의 발전에도 불구하고 KBQA의 진전을 저지하는 고유한 과제인 스키마 수준 및 사실 수준의 복잡성을 규명하고 분석하는 것.
• KBQA를 의미 해석 분야의 광범위한 문헌 안에 위치지어, KBQA와 텍스트-SQL, 자연어-API 인터페이스와 같은 유사 작업 간 격차를 메우는 것.
• 기존 의미 해석 기법, 특히 사전 훈련된 언어 모델과 제약 있는 디코딩을 활용한 기법들이 KBQA에서 아직 충분히 활용되지 않았으며, 이를 적응시켜야 한다고 주장하는 것.
• 종단 간 훈련을 위한 미분 가능 엔티티 프로젝션, 지식 기반 특화 사전 훈련, 더 높은 신뢰성과 일반화를 위한 제약 있는 디코딩을 포함한 향후 연구 방향을 제안하는 것.
• 실제 운영을 위한 실-world 적용을 위해 체계적인 비i.i.d. 일반화 평가, 즉 복합적 및 제로샷 설정, 그리고 지식 기반 간 일반화에 대한 필요성을 강조하는 것.

제안 방법

• 의미 해석 기반의 KBQA 방법에 대한 분류 체계를 제안하여, 스키마 연결, 논리적 형식 생성, 사실에 대한 근거 설정을 구분한다.
• KBQA에 적응된 인코더-디코더 및 시퀀스-투-시퀀스 모델을 검토하며, 큰 지식 기반 스키마 크기와 조합적 탐색 공간으로 인해 발생하는 한계를 강조한다.
• 생성된 논리적 형식이 지식 기반에 근거하고 잘못된 쿼리를 방지하기 위해 제약 있는 디코딩 기법(예: Picard, 가이드드 디코딩)을 도입한다.
• 입력 길이를 줄이고 효율성을 향상시키기 위해 동적 스키마 항목 선택과 함께 사전 훈련된 언어 모델(PLM)을 통합할 것을 주장한다.
• 수백만 개의 지식 기반 엔티티에 대한 미분 가능한 연산을 가능하게 하기 위해 연속적 엔티티 임베딩을 사용하여 이산 토큰화의 병목 현상을 피하는 것이 좋다.
• 이중 분류를 넘어서 구조화된 예측을 지원하는 구조적 쿼리 의미를 포착하는 지식 기반 특화 사전 훈련 작업을 설계할 것을 제안한다.

실험 결과

연구 질문

• RQ1 의미 해석의 기반이 유사한 텍스트-SQL과 달리 KBQA는 왜 더 느리게 발전했는가?
• RQ2 스키마 수준 및 사실 수준의 복잡성이 다른 지식 집약적 NLP 작업과 비교해 KBQA에서 의미 해석에 어떻게 고유하게 도전을 가하는가?
• RQ3 텍스트-SQL 및 자연어-API 파싱 기법이 KBQA의 성능과 일반화를 향상시키기 위해 어느 정도 적응 가능할 수 있는가?
• RQ4 사전 훈련된 언어 모델이 KBQA에서 어떤 역할을 할 수 있으며, 큰 지식 기반 스키마를 다룰 때의 한계는 어떻게 극복할 수 있는가?
• RQ5 향후 KBQA 시스템은 어떻게 다양한 지식 기반과 질의 유형 간에 견고한 제로샷 및 복합적 일반화를 달성할 수 있는가?

주요 결과

• KBQA의 스키마 수준 복잡성은 지식 기반 스키마 항목의 방대함(예: Freebase의 8,000개 이상)으로 인해 스키마 연결이 관계형 데이터베이스보다 훨씬 더 어렵게 만든다.
• 사실 수준 복잡성은 지식 기반의 동적 인스턴스화에서 기인한다—각 엔티티가 몇 개의 관계만 가질 수 있기 때문에 정확한 근거 설정이 필요하며, 그렇지 않으면 빈 또는 잘못된 쿼리 결과가 발생할 수 있다.
• 기존의 인코더-디코더 모델은 KBQA에서 조합적 폭발적 증가하는 가능한 KB 경로와 PLM의 컨텍스트 길이 제한 내에서 모든 스키마 항목을 동시에 고려할 수 없는 한계로 인해 어려움을 겪는다.
• 최근 연구에서는 ComplexWebQ와 같은 KBQA 데이터셋에 T5를 피지터링한 결과가 이전 최고 성능 모델을 능가함을 보여, 인코더-디코더 PLM의 강력한 잠재력을 시사한다.
• Picard와 같은 제약 있는 디코딩 방법은 생성된 쿼리가 지식 기반에 유효하고 근거가 되도록 보장함으로써 신뢰성과 정확성을 높이며 환각 현상을 줄인다.
• 지식 기반 간 일반화는 여전히 주요 열린 과제이며, 현재 모델들은 특정 지식 기반에 과적합되어 있다; 이러한 설정에 대한 체계적인 평가 벤치마크는 여전히 부족하다.