[논문 리뷰] Learn to Explain: Multimodal Reasoning via Thought Chains for Science Question Answering

Pan Lu, Swaroop Mishra외 7명|arXiv (Cornell University)|2022. 09. 20.

Topic Modeling인용 수 214

한 줄 요약

이 논문은 강의와 설명이 포함된 ScienceQA라는 대형 다중모달 과학 QA 데이터셋을 제시하고, 언어 모델에서 사고의 흐름(coT) 생성이 few-shot 및 미세조정 설정에서 성능을 향상시키며, GPT-3와 UnifiedQA가 CoT 설명으로 이익을 얻는다는 것을 보여준다.

ABSTRACT

When answering a question, humans utilize the information available across different modalities to synthesize a consistent and complete chain of thought (CoT). This process is normally a black box in the case of deep learning models like large-scale language models. Recently, science question benchmarks have been used to diagnose the multi-hop reasoning ability and interpretability of an AI system. However, existing datasets fail to provide annotations for the answers, or are restricted to the textual-only modality, small scales, and limited domain diversity. To this end, we present Science Question Answering (ScienceQA), a new benchmark that consists of ~21k multimodal multiple choice questions with a diverse set of science topics and annotations of their answers with corresponding lectures and explanations. We further design language models to learn to generate lectures and explanations as the chain of thought (CoT) to mimic the multi-hop reasoning process when answering ScienceQA questions. ScienceQA demonstrates the utility of CoT in language models, as CoT improves the question answering performance by 1.20% in few-shot GPT-3 and 3.99% in fine-tuned UnifiedQA. We also explore the upper bound for models to leverage explanations by feeding those in the input; we observe that it improves the few-shot performance of GPT-3 by 18.96%. Our analysis further shows that language models, similar to humans, benefit from explanations to learn from fewer data and achieve the same performance with just 40% of the data. The data and code are available at https://scienceqa.github.io.

연구 동기 및 목표

• Annotated 강의 및 설명으로 대규모 다중모달 과학 QA 데이터셋을 구축하여 reasoning 경로를 밝힌다.
• ScienceQA에서 언어 모델의 사고의 흐름(CoT) 생성이 질문 응답 정확도에 미치는 영향을 평가한다.
• few-shot 및 미세조정(regimes)에서 학습 효율성과 데이터 효율성을 향상시킬 수 있는 설명의 잠재력을 시연한다.

제안 방법

• Natural, 사회, 언어과학에 걸친 21,208개의 다중모달 객관식 문제를 강의와 설명과 함께 구성한다.
• QCM 스타일 프롬프트에서 VQA 모델 및 대형 언어 모델(UnifiedQA 및 GPT-3)을 포함한 다양한 베이스라인을 벤치마크한다.
• 학습 및 평가 중에 CoT를 생성하는 답변과 강의 및 설명을 생성하도록 UnifiedQA를 수정한다.
• GPT-3 프롬팅에 chain-of-thought를 적용해 답변, 강의 및 설명을 생성하고 표준 프롬프트와 비교한다.
• 생성된 설명을 자동 지표(BLEU-1/4, ROUGE-L, Similarity) 및 관련성, 정확성, 포괄성에 대한 인간 평가로 분석한다.
• 프롬프트에 골드 설명을 투입해 잠재 이득을 측정하는 상한(upper-bound) 시나리오를 탐색한다.

실험 결과

연구 질문

• RQ1 grounded 강의와 설명이 포함된 대규모 다중모달 과학 QA 데이터셋이 다중-hop 추론 평가 및 모델 해석 가능성을 지원하는가?
• RQ2 CoT 설명이 few-shot 및 미세조정 설정에서 다중모달 과학 문제의 QA 정확도를 향상시키는가?
• RQ3 설명이 ScienceQA에서 언어 모델의 학습 효율성 및 데이터 효율성을 강화하는 데 얼마나 활용될 수 있는가?
• RQ4 설명과 함께 다중모달 과학 문제에 대한 기계 성능과 인간 성능의 차이는 어느 정도인가?

주요 결과

• ScienceQA는 자연, 사회, 언어 과학 전반에 걸친 Rich Context(텍스트 및/또는 이미지)와 주석된 강의 및 설명을 포함한 21,208개의 다중모달 질문을 담고 있다.
• CoT를 가진 UnifiedQA는 미세조정(QCM → ALE) 시 CoT 없이 대비하여 평균 정확도를 3.99% 향상시킨다.
• CoT 프롬프트가 적용된 GPT-3는 2-shot 설정에서 ScienceQA에서 평균 정확도 75.17%를 달성하며 비-CoT 프롬프트를 상회한다.
• 프롬프트에 정답 설명을 포함하면 GPT-3의 few-shot 성능이 최대 18.96% 절대 향상을 보인다(상한 분석).
• 설명은 모델이 더 적은 데이터로 학습하도록 돕는다: CoT를 가진 UnifiedQA는 학습 데이터의 40%로도 유사한 정확도에 도달한다.
• GPT-3(CoT) 생성 설명의 인간 평가에서 골드 표준 충족 비율은 65.2%이다(관련성, 정확성, 완전성).
• 사람은 모든 모델을 크게 능가하며 이미지 맥락 질문에서 약 20포인트의 차이가 나타난다.