[논문 리뷰] ExplanationLP: Abductive Reasoning for Explainable Science Question Answering

Mokanarangan Thayaparan, Marco Valentino외 1명|arXiv (Cornell University)|2020. 10. 25.

Topic Modeling참고 문헌 32인용 수 7

한 줄 요약

ExplanationLP는 설명 가능한 과학 질의 응답을 위한 새로운 추론 프레임워크를 제안하며, 지면화와 추상 추론 체인을 통해 설명을 체계화합니다. 선형 프로그래밍과 베이지안 최적화를 활용해 최적의 사실 부분그래프를 선택함으로써, 파라미터 수가 적고 복잡한 다단계 설명을 요구하는 질문에서 더 높은 정확도와 강건성을 확보하며 최신 기준 성능을 달성합니다. 기존 트랜스포머 및 그래프 기반 기준 모델들과 비교해도 우수한 성능을 보입니다.

ABSTRACT

We propose a novel approach for answering and explaining multiple-choice science questions by reasoning on grounding and abstract inference chains. This paper frames question answering as an abductive reasoning problem, constructing plausible explanations for each choice and then selecting the candidate with the best explanation as the final answer. Our system, ExplanationLP, elicits explanations by constructing a weighted graph of relevant facts for each candidate answer and extracting the facts that satisfy certain structural and semantic constraints. To extract the explanations, we employ a linear programming formalism designed to select the optimal subgraph. The graphs' weighting function is composed of a set of parameters, which we fine-tune to optimize answer selection performance. We carry out our experiments on the WorldTree and ARC-Challenge corpus to empirically demonstrate the following conclusions: (1) Grounding-Abstract inference chains provides the semantic control to perform explainable abductive reasoning (2) Efficiency and robustness in learning with a fewer number of parameters by outperforming contemporary explainable and transformer-based approaches in a similar setting (3) Generalisability by outperforming SOTA explainable approaches on general science question sets.

연구 동기 및 목표

• 최신 트랜스포머 기반 과학 질의 응답 시스템에서 설명 가능성의 부족을 해결하기 위해.
• 지면화와 추상 추론 체인을 통한 의미적 제어 모델링을 통해 설명 가능한 과학 QA의 강건성과 일반화 능력을 향상시키기 위해.
• 복잡한 다단계 추론 작업에서 성능을 유지하거나 향상시키면서도 대규모 파라미터 수에 의존하지 않도록 하기 위해.
• 다단계 추론에서 의미의 이탈을 완화하기 위해 명시적인 지면화와 추상화 메커니즘을 활용해 설명을 체계화하기 위해.

제안 방법

• 시스템은 과학 질의 응답 문제를 추론 기반 추론으로 간주하며, 가장 우수한 설명을 제공하는 후보 답변을 선택합니다.
• 각 후보 답변에 대해 가중치가 부여된 사실 그래프를 구성하며, 사실들을 지면화(질문/답변어어를 개념과 연결하는) 및 추상(핵심 과학 원리) 카테고리로 분류합니다.
• 선형 프로그래밍 수식을 사용해 구조적 및 의미적 제약 조건을 만족하는 최적의 부분그래프를 추출합니다.
• 가중치 함수는 베이지안 최적화를 통해 최적화되는 학습 가능한 파라미터를 포함하며, 답변 선택 정확도를 극대화합니다.
• 외부 지식 기반을 활용해 사실을 검색하고, 두 단계 추론을 통해 설명을 구성합니다: 지면화 사실은 어휘를 개념과 연결하고, 추상 사실은 과학 원리를 제공합니다.
• WorldTree 및 ARC-Challenge 데이터셋에서 정확도와 설명 길이에 대한 강건성 등의 지표를 사용해 모델을 평가합니다.

실험 결과

연구 질문

• RQ1 지면화-추상 추론 체인은 설명 가능한 과학 QA의 추론에서 더 나은 의미적 제어를 제공할 수 있는가?
• RQ2 소수의 파라미터를 사용하는 선형 프로그래밍 기반 설명 추출 방법이 설명 가능한 QA에서 트랜스포머 기반 및 그래프 기반 접근 방식을 능가하는가?
• RQ3 기존 방법들과 비교해 설명 길이가 증가함에 따라 ExplanationLP의 성능은 어떻게 저하되는가?
• RQ4 답안 선택지 간 어휘 일치도가 증가할수록 설명 시스템의 강건성은 어느 정도 영향을 받는가?
• RQ5 모델은 다양한 일반 과학 질문 세트에 대해 효과적으로 일반화할 수 있는가?

주요 결과

• ExplanationLP는 일반 과학 질문 세트에서 최신 기준 설명 가능한 접근 방식을 능가하며, 더 뛰어난 일반화 능력을 보입니다.
• 설명 길이가 증가함에 따라 안정적인 성능을 유지하며, PathNet과 BERT와 달리 다단계에서 의미의 이탈이 크게 발생하지 않아 성능 저하가 현저히 적습니다.
• 어휘 일치에 의존하고 있음에도 불구하고, 선택지 간 어휘 일치도가 증가함에 따라 성능 저하가 최소한으로 발생하여 어휘 노이즈에 강건함을 보입니다.
• 더 적은 학습 파라미터로도 설명 가능한 과학 QA에서 최신 기준 성능을 달성하여 효율성과 강건성을 입증합니다.
• 지면화-추상 체인 구조는 의미의 이탈을 효과적으로 줄여 복잡한 다단계 상황에서도 신뢰할 수 있는 추론이 가능하게 합니다.
• 선형 프로그래밍 목표 함수에 대한 베이지안 최적화가 신경 기반 기준 모델의 엔드 투 엔드 학습보다 더 뛰어난 파라미터 효율성과 성능을 제공합니다.