[논문 리뷰] Are large language models superhuman chemists?

Adrian Mirza, Nawaf Alampara외 33명|arXiv (Cornell University)|2024. 04. 01.

History and advancements in chemistry인용 수 17

한 줄 요약

이 논문은 ChemBench를 소개합니다. ChemBench는 LLM을 평가하기 위한 2,788개의 화학 QA 쌍 벤치마크이며, 선도 모델들은 평균적으로 상위 인간 화학자들을 능가하지만 특정 작업과 신뢰도 보정에 여전히 어려움을 겪습니다.

ABSTRACT

Large language models (LLMs) have gained widespread interest due to their ability to process human language and perform tasks on which they have not been explicitly trained. However, we possess only a limited systematic understanding of the chemical capabilities of LLMs, which would be required to improve models and mitigate potential harm. Here, we introduce "ChemBench," an automated framework for evaluating the chemical knowledge and reasoning abilities of state-of-the-art LLMs against the expertise of chemists. We curated more than 2,700 question-answer pairs, evaluated leading open- and closed-source LLMs, and found that the best models outperformed the best human chemists in our study on average. However, the models struggle with some basic tasks and provide overconfident predictions. These findings reveal LLMs' impressive chemical capabilities while emphasizing the need for further research to improve their safety and usefulness. They also suggest adapting chemistry education and show the value of benchmarking frameworks for evaluating LLMs in specific domains.

연구 동기 및 목표

• 표준화된 벤치마크(ChemBench)를 만들어 LLM의 특성 예측을 넘어서는 화학 지식, 논리적 추론, 직감을 평가한다.
• 현재 최첨단 LLM이 광범위한 교육 정렬된 화학 코퍼스에서 전문 화학자와 어떻게 비교되는지 평가한다.
• 화학 하위 분야 및 질문 유형 전반에서 모델 성능을 분석하여 강점과 격차를 파악한다.
• 향후 진전을 추적하고 더 안전하고 유용한 화학 AI 시스템을 촉진하기 위한 개방적이고 확장 가능한 평가 인프라와 리더보드를 제공한다.

제안 방법

• 학부 및 대학원 화학 주제를 다루는 수동 및 준자동 소스에서 2,788개의 질의-답변 쌍을 수집한다.
• 도구 보강 시스템을 지원하기 위해 주석이 달린 토큰을 사용하여 화학 특유의 모달리티(예: SMILES)를 인코딩한다.
• 정확/오답 채점과 도구 보조 설정을 엄격하게 적용하여 오픈 소스 및 클로즈드 소스 LLM을 포함한 다양한 모델을 평가한다.
• 일부 질문에서 인간 전문가를 설문 조사하여 비교 기준을 확립하고 전문가-모델 간 합의 여부를 탐색한다.
• 최종 텍스트 완성 추출을 위해 파싱 및 프롟밍 파이프라인을 구현하고 SMILES 및 방정식과 같은 도메인 구문 처리를 포함한다.

실험 결과

연구 질문

• RQ1 최신형 LLM이 전문가 화학자에 비해 광범위한 화학 벤치마크에서 어떤 성과를 보이는가?
• RQ2 다양한 화학 주제 및 질문 유형에서 LLM의 강점과 한계는 무엇인가?
• RQ3 모델 크기, 도구 보강, 도메인 특화 인코딩이 화학적 추론 작업의 성능에 얼마나 영향을 미치는가?

주요 결과

• 최고의 모델이 ChemBench에서 전체적으로 평균 화학자보다 우수(최고 모델은 인간 성능의 약 두 배 수준).
• 오픈 소스 모델(예: Llama-3.1-405B-Instruct)이 여러 작업에서 주요 독점 모델의 성능에 근접하고 있다.
• 지식 집중형 질문 및 독성/안전성, 분석 화학(NMR 신호 개수 세기 등)과 같은 특정 하위 분야에서 성능 격차가 여전히 존재한다.
• 모델 성능이 분자 복잡성과 일관되게 정렬되는 것이 아니라 훈련 데이터에 더 가까운 정도에 의존하는 경향이 있다.
• 모델은 종종 과신한 불확실성 추정이나 보정되지 않은 불확실성을 제공하여 실제 사용 시 안전성과 신뢰성에 문제를 제기한다.