[논문 리뷰] MolecularGPT: Open Large Language Model (LLM) for Few-Shot Molecular Property Prediction

Yuyan Liu, Sirui Ding외 3명|arXiv (Cornell University)|2024. 06. 18.

Machine Learning in Materials Science인용 수 10

한 줄 요약

MolecularGPT는 구조 인식형 few-shot 지시를 사용하고, unseen MPP 작업에 일반화하기 위해 구조 인식형 few-shot 지시와 하이브리드 제로샷/ few-shot 프롬프트 세트를 활용한 instruction-tuned 오픈 LLM입니다. 다수 벤치마크에서 제로샷 성능은 경쟁적으로, 파이프라인 적인 few-shot 성능은 우수하며, 여러 baselines를 능가합니다.

ABSTRACT

Molecular property prediction (MPP) is a fundamental and crucial task in drug discovery. However, prior methods are limited by the requirement for a large number of labeled molecules and their restricted ability to generalize for unseen and new tasks, both of which are essential for real-world applications. To address these challenges, we present MolecularGPT for few-shot MPP. From a perspective on instruction tuning, we fine-tune large language models (LLMs) based on curated molecular instructions spanning over 1000 property prediction tasks. This enables building a versatile and specialized LLM that can be adapted to novel MPP tasks without any fine-tuning through zero- and few-shot in-context learning (ICL). MolecularGPT exhibits competitive in-context reasoning capabilities across 10 downstream evaluation datasets, setting new benchmarks for few-shot molecular prediction tasks. More importantly, with just two-shot examples, MolecularGPT can outperform standard supervised graph neural network methods on 4 out of 7 datasets. It also excels state-of-the-art LLM baselines by up to 15.7% increase on classification accuracy and decrease of 17.9 on regression metrics (e.g., RMSE) under zero-shot. This study demonstrates the potential of LLMs as effective few-shot molecular property predictors. The code is available at https://github.com/NYUSHCS/MolecularGPT.

연구 동기 및 목표

• 전통적 지도 학습 MPP와 오픈 LLM 간의 격차를 해소하기 위해 분자 지시를 이용해 LLM을 미세 조정하고 unseen MPP 작업에 일반화한다.
• SMILES 기반 지시 튜닝과 구조 인식형 few-shot 시연을 활용하여 분자 그래프 정보를 도입한다.
• 제로샷과 few-shot in-context learning의 균형을 맞추기 위한 하이브리드 지시 세트를 탐색한다.
• 다양한 데이터셋에서 few-shot 벤치마크를 확립하고 지시 설계의 영향을 분석한다.

제안 방법

• SMILES를 사용해 분자 그래프를 통일 문자열 표현으로 변환해 지시 구성을 수행한다.
• MACCS/ Tanimoto 유사도 기반으로 상위 K개 유사 분자를 검색해 프롬프트에 시연으로 사용하여 구조 인식형 few-shot 지시를 도입한다.
• 제로샷 템플릿과 few-shot 템플릿을 결합한 하이브리드 지시 튜닝 체계를 개발해 제로샷 추론을 유지하면서 강력한 few-shot ICL을 가능하게 한다.
• Constructed instruction set 전체에 걸쳐 사전 학습된 LLM(LLaMA2-7b-chat)을 QLoRA로 미세 조정한다.
• ROC-AUC를 분류에, RMSE를 회귀에 대해 10개 다운스트림 데이터셋에서 평가하고 GNN baselines 및 더 큰 LLM baselines와 비교한다.

실험 결과

연구 질문

• RQ1 RQ1: MolecularGPT가 제로샷 및 few-shot ICL을 통해 새로운 특성 예측 작업을 효과적이고 견고하게 처리할 수 있는가?
• RQ2 RQ2: 튜닝 중 MolecularGPT의 일반화 및 ICL 능력을 향상시키기 위한 맥락 내 지시 세트의 최적 설계는 무엇인가?
• RQ3 RQ3: 맥락 예시의 수, 순서, 다양성이 MolecularGPT의 성능에 어떤 영향을 미치는가?

주요 결과

• MolecularGPT는 다른 언어 모델과 비교해 제로샷 성능이 경쟁력이 있으며 여러 데이터셋에서 GIMLET 및 LLaMA 기반 baselines를 개선한다.
• 두-shot 시연에서 MolecularGPT는 7개 데이터셋 중 4개에서 표준 감독 GNN 방법을 능가하고 BBBP에서 두-shot 조건하에 finetuned Graphormer-p를 능가하거나 동등한 성능을 발휘한다.
• 제로샷에서 강력한 LLM baselines에 비해 분류 작업에서 ROC-AUC의 평균 16.6%까지 개선하고 회귀에서 RMSE를 크게 감소시킨다.
• 제로샷과 few-shot 프롬pts를 혼합하는 하이브리드 지시 세트가 모든 작업에서 제로샷 및 few-shot 성능을 일관되게 향상시킨다.
• 더 큰 지시 세트와 혼합-shot 튜닝은 성능을 향상시키며, 조회된 시연은 질의와의 유사도에 따라 내림차순으로 정렬될 때 가장 효과적이다.