[논문 리뷰] RnG-KBQA: Generation Augmented Iterative Ranking for Knowledge Base Question Answering

Xi Ye, Semih Yavuz외 3명|arXiv (Cornell University)|2021. 09. 17.

Topic Modeling인용 수 26

한 줄 요약

RnG-KBQA는 KBQA를 위한 생성 보강 순위를 도입하여 대비 학습된 BERT 기반 랭커와 T5 기반 제너레이터를 결합하고 GrailQA 및 WebQSP에서 제로샷/일반화 설정에서 특히 최첨단 결과를 달성합니다.

ABSTRACT

Existing KBQA approaches, despite achieving strong performance on i.i.d. test data, often struggle in generalizing to questions involving unseen KB schema items. Prior ranking-based approaches have shown some success in generalization, but suffer from the coverage issue. We present RnG-KBQA, a Rank-and-Generate approach for KBQA, which remedies the coverage issue with a generation model while preserving a strong generalization capability. Our approach first uses a contrastive ranker to rank a set of candidate logical forms obtained by searching over the knowledge graph. It then introduces a tailored generation model conditioned on the question and the top-ranked candidates to compose the final logical form. We achieve new state-of-the-art results on GrailQA and WebQSP datasets. In particular, our method surpasses the prior state-of-the-art by a large margin on the GrailQA leaderboard. In addition, RnG-KBQA outperforms all prior approaches on the popular WebQSP benchmark, even including the ones that use the oracle entity linking. The experimental results demonstrate the effectiveness of the interplay between ranking and generation, which leads to the superior performance of our proposed approach across all settings with especially strong improvements in zero-shot generalization.

연구 동기 및 목표

• KBQA에서 일반화 격차를 해결하고, 특히 보지 못한 KB 스키마 아이템 및 구성을 다룹니다.
• 랭킹 커버리지를 개선하기 위해 랭킹과 생성의 짝을 이루어 더 넓은 논리 형식 공간을 포괄합니다.
• 사전 학습된 언어 모델을 활용하여 KBQA의 일반화 및 해석 가능성을 향상합니다.

제안 방법

• 두 홉 KB 경로 탐색과 형태 s-표현식으로 후보 논리 형식을 열거합니다.
• 대조적 학습 목적으로 질문-후보 페어를 점수화하는 BERT 기반 바이-인코더 랭커를 학습합니다.
• 질문과 상위-k 랭크된 후보를 조건으로 최종 논리 형식을 생성하는 T5를 이용해 랭킹을 확장합니다.
• 실행 가능성을 보장하기 위해 실행 보강 추론을 사용하고 상위-k 생성 형식 중 유효한 답을 선택합니다.]

실험 결과

연구 질문

• RQ1 생성 보강 접근법이 보지 못한 KB 스키마 아이템 및 구성에 대해 KBQA의 일반화를 향상시킬 수 있을까?
• RQ2 대조적 랭커와 제너레이터 간의 상호 작용이 랭킹-전용 방법보다 커버리지를 향상시키는가?
• RQ3 모델은 GrailQA 및 WebQSP와 같은 제로샷 및 구성 일반화 벤치마크에서 어떻게 성능을 보이는가?

주요 결과

• RnG-KBQA는 GrailQA에서 EM 68.8 및 F1 74.4로 새로운 최첨단 성과를 달성하여 이전 SOTA를 상당한 차이로 능가합니다.
• RnG-KBQA는 또한 WebQSP에서 F1 약 75.7 및 EM 약 71.1의 보고된 결과로 SOTA를 달성합니다.
• 생성 구성요소는 랭크-전용 기준선에 비해 성능을 눈에 띄게 향상시키며, ablation에서 GrailQA에서 약 5.3의 F1 증가, WebQSP에서 약 2.9의 F1 증가를 보였습니다.
• 랭커의 부트스트랩 대조 학습 및 엔티티 해상도 확장은 일반화 및 해상도 정확도 향상에 기여합니다.
• 상위 랭크/생성 후보 중 실행 가능성이 높고 추론 절차가 유효한 논리 형식을 안정적으로 선택합니다.