[논문 리뷰] Evaluating the Performance and Robustness of LLMs in Materials Science Q&A and Property Predictions

Hongchen Wang, Kangming Li외 4명|arXiv (Cornell University)|2024. 09. 22.

Big Data and Business IntelligenceBusiness, Management and Accounting인용 수 3

한 줄 요약

이 연구는 도메인 특화 질문 응답 및 물성 예측 작업을 통해 소재 과학 분야에서 대규모 언어 모델(Large Language Models, LLMs)의 성능과 내성에 대해 평가한다. 다양한 데이터셋과 프롬프팅 전략—특히 few샷 인-컨텍스트 학습—을 사용하여 연구자들은 프롬프트 변형에 대한 민감도와 악성 입력 조작으로 인한 기대치와 반대되는 성능 향상과 같은 심각한 취약점을 밝혀내며, 과학적 응용 분야에서의 경계 있는 배포와 향상된 신뢰성 필요성을 강조한다.

ABSTRACT

Large Language Models (LLMs) have the potential to revolutionize scientific research, yet their robustness and reliability in domain-specific applications remain insufficiently explored. In this study, we evaluate the performance and robustness of LLMs for materials science, focusing on domain-specific question answering and materials property prediction across diverse real-world and adversarial conditions. Three distinct datasets are used in this study: 1) a set of multiple-choice questions from undergraduate-level materials science courses, 2) a dataset including various steel compositions and yield strengths, and 3) a band gap dataset, containing textual descriptions of material crystal structures and band gap values. The performance of LLMs is assessed using various prompting strategies, including zero-shot chain-of-thought, expert prompting, and few-shot in-context learning. The robustness of these models is tested against various forms of 'noise', ranging from realistic disturbances to intentionally adversarial manipulations, to evaluate their resilience and reliability under real-world conditions. Additionally, the study showcases unique phenomena of LLMs during predictive tasks, such as mode collapse behavior when the proximity of prompt examples is altered and performance recovery from train/test mismatch. The findings aim to provide informed skepticism for the broad use of LLMs in materials science and to inspire advancements that enhance their robustness and reliability for practical applications.

연구 동기 및 목표

• 도메인 특화 소재 과학 작업, 즉 질문 응답 및 물성 예측에서 LLM의 신뢰성과 내성을 평가하기.
• 실제 및 악성 프롬프트 변형(예: 문장 재정렬, 불필요한 정보 포함 등)이 LLM 추론 성능에 미치는 영향을 조사하기.
• 소재 물성 예측 과정에서 발생하는 예상치 못한 행동, 예를 들어 모드 붕괴 및 학습/테스트 일치 실패 현상 등을 탐색하기.
• 여러 데이터셋을 기반으로 오픈소스 및 상용 LLM을 벤치마킹하여 성능 한계와 실패 모드를 규명하기.
• 소재 과학 R&D 파이프라인에 LLM을 책임감 있게 통합하기 위한 인사이트를 제공하고, 비판적 사고를 유도하기.

제안 방법

• 세 가지 데이터셋에서 LLM을 평가함: MSE-MCQs(학부 수준의 소재 과학 다중선택 문제), matbench_steels(강의 조성 및 인장강도), 그리고 결정 구조 기술이 포함된 밴드 갭 데이터셋.
• 다양한 프롬프팅 전략 적용: 제로샷 체인 오브 타ught, 전문가 프롬프팅, 그리고 few-shot 인-컨텍스트 학습을 통해 성능 최적화.
• 다섯 가지 유형의 텍스트 변형을 체계적으로 도입: 단위 혼합, 문장 재정렬, 동의어 교체, 혼란 유도 정보, 불필요한 정보를 추가하여 내성 테스트.
• LLM-Prop 모델에 대해 입력 구조(문장 순서, 문장 비율 등)를 조작하면서 추론 성능을 분석하고, 밴드 갭 예측의 MAE를 측정함.
• LLM의 비결정적 출력을 고려하기 위해 결정론적이고 반복적인 평가(조건당 3회 시험)를 실시하여 통계적 신뢰성 확보.
• LLM-Prop 모델에서 기술적 설명의 수치적 값을 [NUM] 토큰으로 사전 처리하여 텍스트 기반 이해 능력을 분리함.

Figure 1: Schematic representation of the experiment design for performance evaluation and robustness analysis of LLMs. Yellow highlights the testing conducted in Q&A settings. Blue highlights the testing conducted in property prediction settings. Green represents the tests associated with performan

실험 결과

연구 질문

• RQ1 몇 가지 프롬프팅 전략(예: few-shot 인-컨텍스트 학습)이 소재 과학 질문 응답 및 물성 예측에서 LLM 성능에 어떤 영향을 미치는가?
• RQ2 문장 재정렬이나 불필요한 수치 정보와 같은 현실적 및 악성 프롬프트 변형에 대해 LLM의 내성은 어느 정도 유지되는가?
• RQ3 소재 물성 예측 과정에서 LLM에서 나타나는 놀라운 행동, 예를 들어 모드 붕괴 또는 입력 변형으로 인한 성능 향상은 무엇인가?
• RQ4 구조적 입력 변화(예: 문장 순서 뒤집기 또는 섞기)에 대해 미세조정된 LLM-Prop 모델은 어떻게 반응하는가?
• RQ5 프롬프트 구조의 학습/테스트 일치 실패가 예측 성능 향상에 기여할 수 있는가? 이는 소재 과학 분야에서의 모델 일반화에 어떤 함의를 갖는가?

주요 결과

• 실제 환경에서의 변형, 예를 들어 문장 재정렬 및 불필요한 수치 정보 포함 등에 노출되었을 때 LLM의 성능이 심각하게 저하되어 실제 적용 시 취약성을 드러냄.
• few-shot 인-컨텍스트 학습에서 입력 예시가 목표 예측과 유사하지 않을 경우 모드 붕괴 현상이 발생하여 다양한 입력에 대해 동일한 출력을 생성함.
• 놀랍게도 문장 뒤섞기 및 무작위화와 같은 악성 변형이 미세조정된 LLM-Prop 모델의 밴드 갭 예측 정확도를 향상시킴.
• 입력 기술의 핵심 구조적 요소가 제거되어도 LLM-Prop 모델은 성능을 유지하거나 향상시킴으로써 국소적이지 않은 또는 분산된 특징에 의존하고 있음을 시사함.
• 프롬프트 구성 방식에 따라 성능이 크게 달라지며, 단위 혼합 및 동의어 교체로 인해 정확도가 뚜렷이 저하되어 의미적 및 문법적 변형에 매우 민감함을 보임.
• 이 연구는 LLM이 기존 기계학습 모델에서 관찰되지 않는 기대와 반대되는 행동—예를 들어 악성 조건에서도 성능 향상—을 보일 수 있음을 드러내며, LLM에서 독특한 일반화 역학이 존재함을 시사함.

Figure 2: LLM performance evaluation and prompt engineering enhancement in materials science Q&A using MSE-MCQs dataset. On each bar, the lighter color represents the performance of those models when introduced with the expert prompt. Error bars represent the standard deviation due to LLMs’ non-dete