[論文レビュー] MaScQA: A Question Answering Dataset for Investigating Materials Science Knowledge of Large Language Models

Mohd Zaki, Jayadeva+2 more|arXiv (Cornell University)|Aug 17, 2023

Machine Learning in Materials ScienceMaterials Science被引用数 3

ひとこと要約

本稿では、GATE試験から収集された650問の大学院レベルの材料科学分野の質問をもとに構築された質問・回答データセットMaScQAを紹介し、大規模言語モデル（LLMs）の分野特異的知識の評価を目的としている。GPT-4は62％のゼロショット精度を達成したが、チェーン・オブ・トゥーク（CoT）プロンプティングは顕著な改善をもたらさず、計算的誤り（36％）よりも概念的誤り（64％）が主なパフォーマンス制限要因であることが判明した。

ABSTRACT

Information extraction and textual comprehension from materials literature are vital for developing an exhaustive knowledge base that enables accelerated materials discovery. Language models have demonstrated their capability to answer domain-specific questions and retrieve information from knowledge bases. However, there are no benchmark datasets in the materials domain that can evaluate the understanding of the key concepts by these language models. In this work, we curate a dataset of 650 challenging questions from the materials domain that require the knowledge and skills of a materials student who has cleared their undergraduate degree. We classify these questions based on their structure and the materials science domain-based subcategories. Further, we evaluate the performance of GPT-3.5 and GPT-4 models on solving these questions via zero-shot and chain of thought prompting. It is observed that GPT-4 gives the best performance (~62% accuracy) as compared to GPT-3.5. Interestingly, in contrast to the general observation, no significant improvement in accuracy is observed with the chain of thought prompting. To evaluate the limitations, we performed an error analysis, which revealed conceptual errors (~64%) as the major contributor compared to computational errors (~36%) towards the reduced performance of LLMs. We hope that the dataset and analysis performed in this work will promote further research in developing better materials science domain-specific LLMs and strategies for information extraction.

研究の動機と目的

• 大規模言語モデル（LLMs）における材料科学的概念の理解を評価するためのベンチマークデータセットの開発。
• GPT-3.5 や GPT-4 といった汎用LLMが、大学院レベルの知識を要する複雑な分野特異的質問に対してどのように性能を発揮するかの評価。
• チェーン・オブ・トゥーク（CoT）プロンプティングが、材料科学の推論タスクにおけるLLMのパフォーマンスを向上させるかの調査。
• 材料科学分野におけるLLMパフォーマンスの主な制限要因が、概念的誤りか計算的誤りかを特定すること。

提案手法

• 大学院レベルの材料科学の知識を要する、GATE試験から抽出された650の挑戦的で難しい材料科学の質問を収集した。
• 構造的複雑さ（例：選択肢式、数値計算、概念的）および分野のサブカテゴリ（例：熱力学、機械的挙動、原子構造）に基づいて質問を分類した。
• 推論力と正確性を評価するために、ゼロショットプロンプティングとチェーン・オブ・トゥーク（CoT）プロンプティングを用いてGPT-3.5およびGPT-4を評価した。
• 誤りの原因を概念的誤りと計算的誤りに分類し、モデルの失敗に与える寄与度を定量化するための誤差分析を実施した。
• APIベースの推論を用いてモデルの予測を取得し、正解データ（ゴールドスタンダード）と照合して評価を行った。
• 応力-ひずみ挙動、X線回折（XRD）解析、相転移、熱力学的計算などの分野で繰り返し発生する誤りパターンを同定した。

実験結果

リサーチクエスチョン

• RQ1 汎用LLMは、複雑で大学院レベルの材料科学の質問に対してどの程度のパフォーマンスを示すのか？
• RQ2 チェーン・オブ・トゥーク（CoT）プロンプティングは、材料科学QAタスクにおけるLLMの推論力と正確性を向上させることができるか？
• RQ3 材料科学分野におけるLLMパフォーマンスの主な制限要因は、概念的誤りか計算的誤りか？
• RQ4 どの材料科学のサブドメインでLLMのパフォーマンスが最も弱く、その理由は何か？

主な発見

• GPT-4はゼロショットプロンプティングを用いてMaScQAデータセットで約62％の最高精度を達成し、GPT-3.5を上回った。
• チェーン・オブ・トゥーク（CoT）プロンプティングは、統計的に有意なパフォーマンス向上をもたらさず、このデータセットでは恩恵が限定的であることが示された。
• 誤った回答の64％が概念的誤りに起因し、残りの36％が計算的誤りであった。これは、分野特異的推論における大きなギャップを示している。
• 誤り率が最も高かった分野は熱力学（46％誤り）、原子／結晶構造（42％誤り）、相転移（41％誤り）であり、これらの分野でモデルの理解が弱いことが明らかになった。
• LLMはX線回折の解釈、破壊力学、クリープ挙動、磁気的性質の計算において苦戦しており、理論と実験的概念の統合が不十分であることが示された。
• 結果から、材料科学の応用分野におけるパフォーマンスを向上させるには、ドメイン特化データでのファインチューニング、または専用のプロンプティング戦略の開発が不可欠であると示唆された。