[논문 리뷰] Benchmarking Large Language Models for Molecule Prediction Tasks

Zhiqiang Zhong, Kuangyu Zhou외 1명|arXiv (Cornell University)|2024. 03. 08.

Machine Learning in Materials Science인용 수 6

한 줄 요약

본 논문은 대형 언어모델(LLM)이 분자 예측 과제를 얼마나 잘 수행하는지 평가하고, 분자 데이터용으로 설계된 ML 모델과 비교하며, 프롬프트와 하이브리드 접근법을 탐구하여 LLM을 직접 예측기가 아닌 지식 증강 도구로 활용하는 방법을 모색합니다.

ABSTRACT

Large Language Models (LLMs) stand at the forefront of a number of Natural Language Processing (NLP) tasks. Despite the widespread adoption of LLMs in NLP, much of their potential in broader fields remains largely unexplored, and significant limitations persist in their design and implementation. Notably, LLMs struggle with structured data, such as graphs, and often falter when tasked with answering domain-specific questions requiring deep expertise, such as those in biology and chemistry. In this paper, we explore a fundamental question: Can LLMs effectively handle molecule prediction tasks? Rather than pursuing top-tier performance, our goal is to assess how LLMs can contribute to diverse molecule tasks. We identify several classification and regression prediction tasks across six standard molecule datasets. Subsequently, we carefully design a set of prompts to query LLMs on these tasks and compare their performance with existing Machine Learning (ML) models, which include text-based models and those specifically designed for analysing the geometric structure of molecules. Our investigation reveals several key insights: Firstly, LLMs generally lag behind ML models in achieving competitive performance on molecule tasks, particularly when compared to models adept at capturing the geometric structure of molecules, highlighting the constrained ability of LLMs to comprehend graph data. Secondly, LLMs show promise in enhancing the performance of ML models when used collaboratively. Lastly, we engage in a discourse regarding the challenges and promising avenues to harness LLMs for molecule prediction tasks. The code and models are available at https://github.com/zhiqiangzhongddu/LLMaMol.

연구 동기 및 목표

• LLMs가 여러 벤치마크 데이터셋 전반에 걸쳐 분자 예측 과제를 효과적으로 처리할 수 있는지 평가한다.
• 그래프 인식 방식 등을 포함한 전통적인 ML 모델과 LLM 기반 접근법을 비교한다.
• 제로샷과 파샷을 포함한 프롬프트 설계와 LLM 출력의 ML 모델 통합 가능성을 조사한다.
• 텍스트로 인코딩된 설명을 통한 분자 기하 정보의 도입이 LLM에 도움이 되는지 여부를 검토한다.

제안 방법

• 분자를 SMILES 문자열과 원자 특징 및 그래프 구조를 인코딩하는 텍스트 설명으로 표현한다.
• 고정 매개변수 LLM에서 블랙박스 설정으로 예측을 이끌어내기 위해 프롬프트(IF, IP, IE, IFD, IPD, IED, FS)를 설계하고 평가한다.
• LM 기반 및 GNN 기반 기준선과 함께 LLM 기반 파이프라인(LLM_Solo 및 LLM_Duo)을 실행한다.
• 여섯 개의 벤치마크 데이터셋에서 비교를 위해 표준 ML 모델(GCN, GIN, DeBERTa 기반 LM)을 활용한다.
• 분자 과제에서 LLM의 유용성과 한계를 평가하기 위해 예측기 성능과 응답 일관성을 분석한다.

실험 결과

연구 질문

• RQ1 LLMs가 여기 six 벤치마크 데이터셋에서 분자 그래프 속성 예측 과제에 대해 경쟁력 있는 성능을 달성할 수 있는가?
• RQ2 LLMs가 프롬프트 엔지니어링 및 소수(example) 샘플을 이용한 예측에서 이점을 얻는가?
• RQ3 그래프 구조를 텍스트 설명으로 인코딩하는 것이 LLM의 분자 과제 수행에 도움을 주는가 아니면 방해하는가?
• RQ4 LLMs가 전통 ML 모델을 보강하여 분자 과제의 예측 정확도를 개선할 수 있는가?
• RQ5 LLMs를 분자 예측 과제에 활용할 때의 한계와 유망한 방향은 무엇인가?

주요 결과

• LLMs는 일반적으로 분자 예측 과제에서 분자 기하를 포착하는 ML 모델보다 뒤처지는 경향이 있다.
• GPT-계열 모델(GPT-3.5, GPT-4)은 이 도메인에서 다른 LLM보다 우수하지만, GPT-4는 GPT-3.5에 비해 상당히 더 비싸고 느리다.
• 분자 기하의 텍스트 설명을 프롬프트에 추가해도 성능이 신뢰성 있게 개선되지 않으며 응답 일관성이 감소할 수 있다.
• 기하 구조를 포함하는 모델이 텍스트 전용 LLM보다 더 우수한 성능을 보이며 기하가 정확한 예측에 중요함을 강조한다.
• LLMs가 여러 시나리오에서 ML 모델의 성능을 의미 있게 보강할 수 있어, LLM은 단독 예측기가 아닌 지식 증강자로 활용하는 것이 더 바람직하다는 것을 시사한다.
• 실용적 시사점은 LLM을 ML 파이프라인의 도메인 지식 증강자로 활용하고 직접 분자 특성 예측기로 쓰기보다는 ML 파이프라인을 강화하는 방향으로 고려하는 것이다.