[논문 리뷰] MaScQA: A Question Answering Dataset for Investigating Materials Science Knowledge of Large Language Models

Mohd Zaki, Jayadeva외 2명|arXiv (Cornell University)|2023. 08. 17.

Machine Learning in Materials ScienceMaterials Science인용 수 3

한 줄 요약

이 논문은 대학원 수준의 재료 과학 지식이 요구되는 650개의 질문으로 구성된 질문-답변 데이터셋인 MaScQA를 소개한다. 이는 대규모 언어 모델(LM)의 전문 분야 지식 평가를 위해 개발되었으며, GPT-4는 0-샷 정확도 62%를 기록했지만, 사고의 흐름을 유도하는 프롬프팅 방식은 유의미한 향상을 이끌지 못했으며, 계산 오류(36%)보다 개념 오류(64%)가 성능 저하의 주요 원인임을 확인했다.

ABSTRACT

Information extraction and textual comprehension from materials literature are vital for developing an exhaustive knowledge base that enables accelerated materials discovery. Language models have demonstrated their capability to answer domain-specific questions and retrieve information from knowledge bases. However, there are no benchmark datasets in the materials domain that can evaluate the understanding of the key concepts by these language models. In this work, we curate a dataset of 650 challenging questions from the materials domain that require the knowledge and skills of a materials student who has cleared their undergraduate degree. We classify these questions based on their structure and the materials science domain-based subcategories. Further, we evaluate the performance of GPT-3.5 and GPT-4 models on solving these questions via zero-shot and chain of thought prompting. It is observed that GPT-4 gives the best performance (~62% accuracy) as compared to GPT-3.5. Interestingly, in contrast to the general observation, no significant improvement in accuracy is observed with the chain of thought prompting. To evaluate the limitations, we performed an error analysis, which revealed conceptual errors (~64%) as the major contributor compared to computational errors (~36%) towards the reduced performance of LLMs. We hope that the dataset and analysis performed in this work will promote further research in developing better materials science domain-specific LLMs and strategies for information extraction.

연구 동기 및 목표

• 대규모 언어 모델(LM)의 재료 과학 개념 이해도 평가를 위한 벤치마크 데이터셋을 개발하기 위해.
• GPT-3.5 및 GPT-4와 같은 일반 목적의 대규모 언어 모델이 대학원 수준의 지식이 요구되는 복잡한 전문 분야 질문에 대해 어떻게 성능을 내는지 평가하기 위해.
• 사고의 흐름 프롬프팅이 재료 과학 추론 과제에서 대규모 언어 모델의 성능을 향상시키는지 조사하기 위해.
• 재료 과학 분야에서 대규모 언어 모델의 성능을 저해하는 주요 요인, 특히 개념적 오류와 계산 오류 중 어느 것이 더 큰 영향을 미치는지 규명하기 위해.

제안 방법

• 대학원 수준의 재료 과학 지식이 요구되는 어려운 650개의 재료 과학 질문을 공학 진단 시험(GATE)에서 수집하였다.
• 질문의 구조적 복잡성(예: 다중 선택, 수치 계산, 개념적 질문)과 분야 하위 카테고리(예: 열역학, 기계적 거동, 원자 구조)에 따라 질문을 분류하였다.
• 0-샷 프롬프팅과 사고의 흐름(CoT) 프롬프팅을 사용하여 GPT-3.5와 GPT-4의 성능을 평가하고 추론 능력과 정확도를 분석하였다.
• 오답 응답을 개념 오류와 계산 오류로 분류하여 오류 기여도를 정량화하기 위해 오류 분석을 수행하였다.
• API 기반 추론을 통해 모델 예측을 확보하고, 기준 정답과 비교하여 평가를 수행하였다.
• 응력-변형 거동, X선 회절(XRD) 분석, 상전이, 열역학 계산 등 다양한 분야에서 반복적인 오류 패턴을 식별하였다.

실험 결과

연구 질문

• RQ1 일반 목적의 대규모 언어 모델은 복잡한 대학원 수준의 재료 과학 질문에서 얼마나 잘 성능을 내는가?
• RQ2 사고의 흐름 프롬프팅은 재료 과학 QA 과제에서 대규모 언어 모델의 추론 능력과 정확도를 향상시키는가?
• RQ3 재료 과학 분야에서 대규모 언어 모델의 성능을 저해하는 주요 요인은 개념적 오류인지 계산 오류인지?
• RQ4 어느 재료 과학 하위 분야에서 대규모 언어 모델의 성능이 가장 열악하며, 그 이유는 무엇인가?

주요 결과

• GPT-4는 0-샷 프롬프팅을 사용하여 MaScQA 데이터셋에서 약 62%의 최고 정확도를 기록했으며, GPT-3.5를 능가하는 성능을 보였다.
• 사고의 흐름 프롬프팅은 성능 향상에 통계적으로 유의미한 개선을 이끌지 못했으며, 이 데이터셋에 대해 유의미한 이점이 없음을 시사한다.
• 오답 응답의 64%가 개념 오류에 기인하였고, 나머지 36%는 계산 오류였으며, 이는 전문 분야 추론 능력의 심각한 격차를 반영한다.
• 가장 높은 오답률은 열역학(46% 오답), 원자/결정 구조(42% 오답), 상전이(41% 오답)에서 관찰되었으며, 이는 모델이 이 분야에서 이해도가 낮음을 시사한다.
• 대규모 언어 모델는 X선 회절 해석, 균열 메커니즘, 크립트 거동, 자성 성질 계산에서 어려움을 겪었으며, 이는 이론과 실험 개념 간의 통합이 부족함을 반영한다.
• 결과적으로, 재료 과학 애플리케이션에서 성능 향상을 위해서는 도메인 전용 데이터로 대규모 언어 모델을 피팅하거나, 전용 프롬프팅 전략을 개발할 필요가 있음을 시사한다.