[논문 리뷰] Knowledge Fusion and Semantic Knowledge Ranking for Open Domain Question Answering

Pratyay Banerjee, Chitta Baral|arXiv (Cornell University)|2020. 04. 07.

Topic Modeling참고 문헌 40인용 수 24

한 줄 요약

이 논문은 QASC와 OpenBookQA에서 오픈 도메인 질의 응답 성능을 향상시키기 위해 지식 융합 및 의미적 지식 순위 매기기 프레임워크를 제안한다. BERT 기반 모델에 지식 융합 모듈을 통합하고, BERT 기반 의미적 순위 매기기 모델을 사용해 검색된 사실을 재순위 매김함으로써, 이 방법은 기존 방법 대비 QASC에서 7.28% 향상되고 OpenBookQA에서 2.2% 향상된 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Open Domain Question Answering requires systems to retrieve external knowledge and perform multi-hop reasoning by composing knowledge spread over multiple sentences. In the recently introduced open domain question answering challenge datasets, QASC and OpenBookQA, we need to perform retrieval of facts and compose facts to correctly answer questions. In our work, we learn a semantic knowledge ranking model to re-rank knowledge retrieved through Lucene based information retrieval systems. We further propose a "knowledge fusion model" which leverages knowledge in BERT-based language models with externally retrieved knowledge and improves the knowledge understanding of the BERT-based language models. On both OpenBookQA and QASC datasets, the knowledge fusion model with semantically re-ranked knowledge outperforms previous attempts.

연구 동기 및 목표

• 오픈 도메인 질의 응답을 위한 외부 소스에서 관련 지식을 검색하고 조합하는 과제를 해결하기 위해.
• 멀티호프 추론을 위한 도메인 특화 지식을 이해하고 통합하는 데에 BERT 기반 모델의 성능을 향상시키기 위해.
• 질문-답변 쌍을 사용해 검색된 사실을 재순위 매기는 강력한 의미적 지식 순위 매기기 모델을 개발하기 위해.
• QASC, OpenBookQA, SciTail의 애너테이션을 활용해 의미적 지식 순위 매기기 모델을 훈련하기 위한 고품질 데이터셋을 구축하기 위해.
• 지식 검색 및 질의 응답의 실패 유형을 분석하여 향후 모델 설계 향상에 기여하기 위해.

제안 방법

• 질문-답변 쌍을 입력으로 사용해 관련성을 향상시키기 위해, Elasticsearch를 통해 검색된 지식 사실을 재순위 매기기 위한 BERT 기반 의미적 지식 순위 매기기 모델을 훈련한다.
• 외부 지식를 사전에 훈련된 BERT 표현과 융합하여, 구성된 사실에 대해 추론 능력을 향상시키기 위해 지식 융합 모듈을 도입한다.
• 질문-답변 쌍 간의 공통 입력 표현을 사용해, 올바른 답안과 잘못된 답안 선택지를 더 잘 구별할 수 있도록 한다.
• 다중 소스 데이터셋 준비 파이프라인을 통해 QASC, OpenBookQA, SciTail의 애너테이션을 결합하여 의미적 순위 매기기의 양성 및 부정성 훈련 예제를 생성한다.
• 시스템은 두 단계 검색 및 순위 매기기 전략을 사용한다: 먼저 Lucene 기반 정보 검색으로 후보 사실을 검색하고, 그 다음 의미적 모델을 사용해 재순위 매긴다.
• 최종 모델은 RoBERTa와 단계별 검색, 의미적 지식 순위 매기기, 지식 융합을 결합하여 QASC와 OpenBookQA 양쪽에서 성능을 최적화한다.

실험 결과

연구 질문

• RQ1 의미적 지식 순위 매기기는 오픈 도메인 질의 응답에서 검색된 사실의 품질을 어떻게 향상시킬 수 있는가?
• RQ2 지식 융합은 BERT 기반 모델에서 다중호프 추론과 정답 정확도에 어떤 영향을 미치는가?
• RQ3 QA 파이프라인의 다양한 구성 요소들 — 검색, 순위 매기기, 융합 — 이 전체 성능과 실패 유형에 어떤 영향을 미치는가?
• RQ4 현재 모델에서 가장 흔한 추론 실패 유형(예: 복잡한, 결합적, 부정적)은 무엇인가?
• RQ5 지식 순위 매기기에서 답변 인식 표현을 포함함으로써, 의미적으로 유사하지만 잘못된 사실들로 인한 노이즈는 어떻게 감소하는가?

주요 결과

• 제안된 모델은 QASC에서 테스트 정확도 80.43%를 달성하여 이전 최신 기술 대비 7.28% 향상되었다.
• OpenBookQA에서는 테스트 정확도 85.20%를 기록하여 이전 최고 성능 방법 대비 2.2% 향상되었다.
• 의미적 지식 순위 매기기 모델은 검증 정확도 91.56%를 달성했으며, 대부분의 오류는 잘못된 답변이 관련은 하지만 잘못된 사실과 쌍을 이루는 가짜 양성 오류였다.
• OpenBookQA에서 지식 검색 실패가 전체 오류의 72%를 차지하여 파이프라인의 주요 병목 현상임을 시사한다.
• 의미적으로 관련 있지만 잘못된 답변을 지지하는 혼동스러운 사실들이 주요 오류 원인으로 작용하며, 특히 QASC에서는 137개 오류 중 25개가 상위 10개 검색 결과에 정답 사실이 포함되어 있었다.
• 모델는 잘못된 예측보다 올바른 예측에서 더 높은 신뢰도를 보이며, 이는 신뢰도 校정을 통해 추가로 강건성을 향상시킬 수 있음을 시사한다.