[논문 리뷰] Large Language Models for Scientific Synthesis, Inference and Explanation

Yizhen Zheng, Huan Yee Koh외 5명|arXiv (Cornell University)|2023. 10. 12.

Machine Learning in Materials Science인용 수 12

한 줄 요약

일반 목적의 대형 언어 모델이 과학적 합성을 수행하고, 데이터세트로부터 추론하며, 예측을 설명하는 방법을 보여주어 ML 기반 분자 특성 예측 작업을 향상시킨다.

ABSTRACT

Large language models are a form of artificial intelligence systems whose primary knowledge consists of the statistical patterns, semantic relationships, and syntactical structures of language1. Despite their limited forms of "knowledge", these systems are adept at numerous complex tasks including creative writing, storytelling, translation, question-answering, summarization, and computer code generation. However, they have yet to demonstrate advanced applications in natural science. Here we show how large language models can perform scientific synthesis, inference, and explanation. We present a method for using general-purpose large language models to make inferences from scientific datasets of the form usually associated with special-purpose machine learning algorithms. We show that the large language model can augment this "knowledge" by synthesizing from the scientific literature. When a conventional machine learning system is augmented with this synthesized and inferred knowledge it can outperform the current state of the art across a range of benchmark tasks for predicting molecular properties. This approach has the further advantage that the large language model can explain the machine learning system's predictions. We anticipate that our framework will open new avenues for AI to accelerate the pace of scientific discovery.

연구 동기 및 목표

• 자연과학 과제에서 과학 합성, 추론 및 설명을 위해 일반 목적 LLM의 사용에 동기를 부여한다.
• 전통적인 ML 시스템을 LLM-유도 합성 및 추론 지식으로 보강하여 예측 성능을 향상시키는 것을 시연한다.
• 과학적 맥락에서 ML 예측에 대한 설명을 LLM이 제공할 수 있음을 보인다.
• AI가 여러 학문 분야에 걸친 과학적 발견을 가속화할 수 있는 잠재력을 강조한다.

제안 방법

• 일반 목적 LLM을 사용하여 전문 ML 방법이 일반적으로 다루는 과학 데이터세트로부터 추론한다.
• 과학 문헌에서 얻은 합성 지식으로 ML 모델을 보강하여 작업 성능을 향상시킨다.
• LLM이 모델 예측에 대한 설명을 생성하도록 한다.
• 성능 향상을 입증하기 위해 분자 특성 예측 벤치마크 작업을 평가한다.
• 과학 AI 워크플로우에 LLM 기반 합성 및 추론을 통합하기 위한 프레임워크와 논의를 제공한다.

실험 결과

연구 질문

• RQ1 일반 목적 LLM이 전문 ML 알고리즘과 유사한 방식으로 과학 데이터세트로부터 추론할 수 있는가?
• RQ2 LLM-합성 지식으로 ML 시스템을 보강하는 것이 과학 과제의 예측 성능을 향상시키는가?
• RQ3 LLMs가 과학 맥Context에서 ML 예측에 의미 있는 설명을 제공할 수 있는가?
• RQ4 과학적 발견을 가속화하기 위한 합성, 추론 및 설명에 LLM을 사용하는 데 가장 잘 맞는 프레임워크는 무엇인가?

주요 결과

• LLMs는 데이터세트와 문헌으로부터 과학적 추론을 위한 지식을 보강할 수 있다.
• LLM 유도 합성으로 보강된 시스템이 분자 특성 예측 벤치마크에서 현재 최첨단을 능가한다.
• 이 접근법은 ML 예측에 대한 설명을 제공하여 해석 가능성을 높인다.