[논문 리뷰] Unification-based Reconstruction of Explanations for Science Questions.

Marco Valentino, Mokanarangan Thayaparan외 1명|arXiv (Cornell University)|2020. 03. 31.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 설명성 지식 기반을 활용하여 과학 문제에 대한 설명을 재구성하기 위한 유니피케이션 기반 프레임워크를 제안한다. 관련성 점수와 유니피케이션 점수를 조합하여 설명적 사실의 순위를 매기며, Worldtree 코퍼스에서 최신 기술 수준의 성능을 달성한다. 복잡한 다중 선택 문제에서 BERT 정확도를 최대 15.69% 향상시키면서도 대규모 지식 기반에 대한 확장성은 유지한다.

ABSTRACT

The paper presents a framework to reconstruct explanations for multiple choices science questions through explanation-centred corpora. Building upon the notion of unification in science, the framework ranks explanatory facts with respect to question and candidate answer by leveraging a combination of two different scores: (a) A Relevance Score (RS) that represents the extent to which a given fact is specific to the question; (b) A Unification Score (US) that takes into account the explanatory power of a fact, determined according to its frequency in explanations for similar questions. An extensive evaluation of the framework is performed on the Worldtree corpus, adopting IR weighting schemes for its implementation. The following findings are presented: (1) The proposed approach achieves competitive results when compared to state-of-the-art Transformers, yet possessing the property of being scalable to large explanatory knowledge bases; (2) The combined model significantly outperforms IR baselines (+7.8/8.4 MAP), confirming the complementary aspects of relevance and unification score; (3) The constructed explanations can support downstream models for answer prediction, improving the accuracy of BERT for multiple choices QA on both ARC easy (+6.92%) and challenge (+15.69%) questions.

연구 동기 및 목표

• 설명 지식 기반을 활용하여 과학 문제 설명을 재구성하는 확장 가능한 방법을 개발하기 위해.
• 다중 선택 과학 QA에서 사실의 관련성과 설명력의 조합 문제를 해결하기 위해.
• 재구성된 설명을 신경망 모델에 통합하여 후속 답변 예측 성능을 향상시키기 위해.
• IR 가중치 기반 방법을 사용하여 대규모 설명 중심 코퍼스(Worldtree)에서 프레임워크를 평가하기 위해.

제안 방법

• 프레임워크는 사실이 질문과 후보 답변에 얼마나 특정적으로 관련되어 있는지 측정하기 위해 관련성 점수(RS)를 사용한다.
• 유사한 질문에 대한 설명에서 사실의 빈도를 기반으로 설명력의 정도를 측정하는 유니피케이션 점수(US)를 계산한다.
• 두 점수는 설명적 사실의 순위를 매기기 위해 조합되며, 높은 점수일수록 더 강한 설명적 관련성을 의미한다.
• 효율적인 계산과 확장성을 확보하기 위해 IR 가중치 기반 방법을 사용하여 모델을 구현한다.
• 프레임워크는 Worldtree 코퍼스에서 평가되며, 성능 비교를 위한 주요 평가 지표로 MAP를 사용한다.

실험 결과

연구 질문

• RQ1 설명 기반 코퍼스를 활용한 유니피케이션 기반 접근이 과학 문제의 설명을 효과적으로 재구성할 수 있는가?
• RQ2 관련성 점수와 유니피케이션 점수는 어떻게 상호보완적으로 작용하여 고품질의 설명적 사실을 식별하는가?
• RQ3 재구성된 설명은 다중 선택 과학 QA에서 답변 예측 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 정확도와 확장성 측면에서 최신 기술 수준의 트랜스포머 모델과 비교해 볼 때 프레임워크는 어떻게 성과를 내는가?

주요 결과

• 대규모 설명 지식 기반에 대한 확장성은 유지하면서 최신 기술 수준의 트랜스포머 모델과 경쟁 가능한 성능을 달성한다.
• 통합 모델은 IR 기반 모델보다 +7.8/8.4 MAP의 성능 향상을 보이며, 관련성 점수와 유니피케이션 점수의 상호보완적 가치를 확인한다.
• 재구성된 설명은 ARC 쉬운 문제에서 BERT의 정확도를 6.92% 향상시키고, 도전 과제 문제에서는 15.69% 향상시킨다.
• 유니피케이션 점수는 유사 질문 설명에서의 빈도 패턴을 통해 설명력을 효과적으로 포착한다.