[논문 리뷰] SciKnowEval: Evaluating Multi-level Scientific Knowledge of Large Language Models

Kehua Feng, Shen, Xinyi외 5명|arXiv (Cornell University)|2024. 06. 13.

Topic Modeling인용 수 4

한 줄 요약

SciKnowEval은 생물학 및 화학 분야의 50,000개 샘플 데이터셋을 사용하여 과학 지식의 다섯 단계 진화적 수준—넓이 있게 공부하기, 진지하게 탐구하기, 깊이 있게 사고하기, 명확하게 분별하기, 성실히 연마하기—에서 대규모 언어 모델(LM)을 평가하기 위한 종합적인 벤치마크를 소개한다. 최신 기술 수준의 성능에도 불구하고, GPT-4o와 같은 최고 수준의 모델들 역시 과학적 추론, 안전 인식, 실험 프rotocol 생성 측면에서 심각한 격차를 보이며 실제 과학 응용 분야에서의 핵심적 한계를 드러낸다.

ABSTRACT

Large language models (LLMs) are playing an increasingly important role in scientific research, yet there remains a lack of comprehensive benchmarks to evaluate the breadth and depth of scientific knowledge embedded in these models. To address this gap, we introduce SciKnowEval, a large-scale dataset designed to systematically assess LLMs across five progressive levels of scientific understanding: memory, comprehension, reasoning, discernment, and application. SciKnowEval comprises 28K multi-level questions and solutions spanning biology, chemistry, physics, and materials science. Using this benchmark, we evaluate 20 leading open-source and proprietary LLMs. The results show that while proprietary models often achieve state-of-the-art performance, substantial challenges remain -- particularly in scientific reasoning and real-world application. We envision SciKnowEval as a standard benchmark for evaluating scientific capabilities in LLMs and as a catalyst for advancing more capable and reliable scientific language models.

연구 동기 및 목표

• 대규모 언어 모델(LM)의 과학 지식 평가를 위한 종합적이고 다수준의 벤치마크 부족 문제를 해결하기 위해.
• 기존 벤치마크가 고등학교 수준 과학에만 국한되거나 윤리적 및 안전 평가를 포함하지 않는 한계를 극복하기 위해.
• Confucian 철학을 영감으로 삼아 인간의 과학 학습 과정을 반영하는 체계적 프레임워크를 개발하기 위해.
• 지식 습득, 탐구, 추론, 윤리적 분별, 실천 적용의 다섯 단계로 진행되는 진보적 수준에서 LLM을 평가하기 위해.
• 대규모이고 다양한 데이터를 바탕으로 윤리적 고려를 반영한 벤치마크를 통해 더 안전하고 능력 있는 과학적 LLM 개발을 촉진하기 위해.

제안 방법

• 『중용』의 철학을 영감으로 삼아 지식 습득에서 실천 적용에 이르는 진행 과정을 모델링하는 다섯 단계 과학 지식 평가 프레임워크를 설계한다.
• 생물학 및 화학 분야에서 교과서, 문헌, 데이터베이스, 자가 생성 콘텐츠 등 다양한 출처에서 유래한 총 50,048개의 과학 문제 및 해답을 포함하는 대규모 다중 출처 데이터셋을 구축한다.
• 과제를 다섯 단계로 분류한다: 널리 공부하기(지식 암기), 진지하게 탐구하기(탐구), 깊이 있게 사고하기(추론), 명확하게 분별하기(윤리/안전), 성실히 연마하기(실험 설계).
• 모든 다섯 단계에서 20개의 주요 오픈소스 및 전용 LLM을 0-shot 및 few-shot 프롬프팅을 통해 평가한다.
• 정확도, 완전성, 복잡한 과학 작업에서의 안전성 측면에서 모델 출력을 평가하기 위해 인간이 애너테이션한 점수(예: GPT-4o를 심판으로 사용)를 통합한다.
• 위험 요소가 있는 화학 물질 합성 및 규제 준수와 같은 안전 핵심 과제를 포함하여 윤리적 평가를 보장한다.

실험 결과

연구 질문

• RQ1 LLM은 기본 암기에서 복잡한 실험 설계에 이르기까지 과학 지식의 다수준 계층에서 얼마나 잘 수행되는가?
• RQ2 전용 모델과 오픈소스 모델 간에 과학적 추론, 안전 인식, 과학 지식의 실천 적용 측면에서 얼마나 다른가?
• RQ3 기존의 벤치마크는 실제 연구 및 실험에 필요한 과학적 이해의 깊이를 충분히 반영할 수 있는가?
• RQ4 금지된 화학물질 합성과 같은 고위험 과학 과제에서 LLM은 윤리적 및 안전 고려 사항을 어떻게 다루는가?
• RQ5 특히 시약 선택과 절차적 세부 사항에서 LLM이 생성한 과학 프로토콜의 핵심 실패 요인은 무엇인가?

주요 결과

• 최첨단 모델인 GPT-4o조차도 최고 수준(L5)에서 시약 및 절차 생성 과제에서 평균 3/5 이하의 점수를 기록하여 실질적인 과학 전문 지식의 심각한 격차를 보였다.
• 최신 기술 성능을 보이는 전용 LLM은 과학적 계산 및 적용 측면에서 뚜렷한 결함을 보이며, 특히 안전 핵심 과제를 다룰 때 문제가 된다.
• 모든 모델이 L5 수준(성실히 연마하기)을 완전히 장악하지 못했으며, GPT-4o는 지질체 분석을 위한 SPE 프로토콜 설계 과제에서 단 2/5 점을 기록하여 핵심 시약과 농도를 누락했다.
• 벤치마크는 현재 LLM이 실험 설계에서 구체성과 완전성이 떨어지는 경향이 있음을 드러내며, 특히 정확한 용매, 비율, 내부 기준 물질의 명시 부족이 두드러진다.
• 기존의 벤치마크에서는 윤리적 및 안전 고려 사항이 일관되게 평가되지 않았지만, SciKnowEval은 이를 명시적으로 포함하여 현재 LLM 평가에서의 핵심적인 맹점인 것을暴露했다.
• 데이터셋과 코드는 https://github.com/hicai-zju/sciknoweval 에 공개되어 있어 과학적 LLM의 재현 가능하고 표준화된 평가를 가능하게 한다.