[논문 리뷰] Answering Science Exam Questions Using Query Rewriting with Background Knowledge

Ryan Musa, Xiaoyan Wang외 7명|arXiv (Cornell University)|2018. 09. 15.

Topic Modeling참고 문헌 47인용 수 11

한 줄 요약

이 논문은 과학 시험 문제를 위한 질문 응답 시스템을 제안하며, 지원 증거 검색을 향상시키기 위해 ConceptNet 배경 지식을 통합한 쿼리 재작성 기법을 사용한다. 이 재작성된 쿼리 검색을 SciTail에서 훈련된 텍스트 함의 모델과 조합함으로써, 원래 질문에서 필수 어휘를 식별하도록 훈련된 것에도 불구하고 ARC 챌린지 데이터셋에서 최신 기술에 가까운 성능을 달성한다.

ABSTRACT

Open-domain question answering (QA) is an important problem in AI and NLP that is emerging as a bellwether for progress on the generalizability of AI methods and techniques. Much of the progress in open-domain QA systems has been realized through advances in information retrieval methods and corpus construction. In this paper, we focus on the recently introduced ARC Challenge dataset, which contains 2,590 multiple choice questions authored for grade-school science exams. These questions are selected to be the most challenging for current QA systems, and current state of the art performance is only slightly better than random chance. We present a system that rewrites a given question into queries that are used to retrieve supporting text from a large corpus of science-related text. Our rewriter is able to incorporate background knowledge from ConceptNet and -- in tandem with a generic textual entailment system trained on SciTail that identifies support in the retrieved results -- outperforms several strong baselines on the end-to-end QA task despite only being trained to identify essential terms in the original source question. We use a generalizable decision methodology over the retrieved evidence and answer candidates to select the best answer. By combining query rewriting, background knowledge, and textual entailment our system is able to outperform several strong baselines on the ARC dataset.

연구 동기 및 목표

• 표준 정보 검색 및 질문 응답 방법으로는 해결되지 않는 어려운 다중 문장 과학 시험 문제를 해결하는 데 도전한다.
• ConceptNet의 배경 지식을 활용해 질문을 재구성함으로써 개방형 QA의 검색 품질을 향상시킨다.
• 다양한 재작성된 쿼리와 답변 후보로부터의 증거를 통합하는 강력한 의사결정 전략을 개발한다.
• ARC 챌린지 데이터셋에서 쿼리 재작성과 함의 기반 증거 선택의 효과를 평가한다.
• 현재의 검색 기반 시스템의 한계와 작은 검증 세트에 대한 과적합의 위험에 대한 통찰을 제공한다.

제안 방법

• 시스템은 ConceptNet의 개념과 관계를 통합한 재작성기로 원본 질문의 다수의 쿼리 재구성 버전을 생성한다.
• 각 재구성된 쿼리는 Elasticsearch를 사용해 대규모 과학 코퍼스에서 증거를 검색하는 데 사용된다.
• SciTail 데이터셋에서 훈련된 텍스트 함의 모델은 검색된 증거가 각 답변 후보를 지지하는지 평가한다.
• 의사결정 규칙은 여러 쿼리와 답변 후보에 걸쳐 증거를 집계하며, 쿼리당 상위 2개 또는 상위 30개와 같은 전략을 사용한다.
• 재작성기는 원본 질문의 필수 어휘를 식별하도록 훈련되며, 완전한 다의어 표현 생성을 목표로 하지 않는다.
• 다양한 쿼리에서 유래한 증거를 통합함으로써 답변 선택의 신뢰도를 높이고, 단일 최상위 결과에 의존하는 것을 피한다.

실험 결과

연구 질문

• RQ1 ConceptNet의 배경 지식을 활용한 쿼리 재작성은 과학 QA를 위한 증거 검색 품질을 크게 향상시킬 수 있는가?
• RQ2 다양한 쿼리 재구성 버전을 조합할 경우 ARC 챌린지 데이터셋에서 답변 정확도에 어떤 영향을 미치는가?
• RQ3 SciTail에서 훈련된 일반적인 텍스트 함의 모델은 과학 시험 문제에 대한 지원 증거를 효과적으로 식별할 수 있는가?
• RQ4 다른 의사결정 규칙(예: 상위 2개 대비 상위 30개)은 테스트 세트에서 최종 성능에 어떤 영향을 미치는가?
• RQ5 성능은 작은 ARC 검증 세트에 대해 과적합될 정도로 민감한가?

주요 결과

• 시스템은 ARC 챌린지 테스트 세트에서 여러 강력한 베이스라인을 능가하며, 대응 t-검정을 통해 99.9% 신뢰수준에서 AI2 룰을 초월하는 성능을 달성했다.
• 원래 AI2 룰을 모방하는 상위 2개 전략은 다양한 설정에서 비분할 AI2 룰보다 일관되게 뛰어난 성능을 보였다.
• 테스트 세트에서 ConceptNet 임베딩를 활용한 단순한 쿼리 재작성 방법은 기존의 기준 방법보다 열등했으며, 이는 분포 이질성 또는 과적합 위험을 시사한다.
• 시스템은 검증 세트(36.37%)에서 테스트 세트(33.20%)로의 성능 저하를 보였으며, 학습 가능한 파rameter가 적음에도 불구하고 검증 분할에 대해 강한 과적합이 있음을 나타낸다.
• 이전 연구 결과를 뒷받침하며, 쿼리 재구성은 특히 함의 모델과 조합될 경우 검색 품질을 크게 향상시킬 수 있음을 보여준다.
• 이 연구는 최상위 검색 결과에 대한 과도한 의존성의 위험과, 여러 쿼리에서의 증거 집계의 중요성을 부각시킨다.