[논문 리뷰] Can Large Language Models Empower Molecular Property Prediction?

Qian Chen, Huayi Tang외 3명|arXiv (Cornell University)|2023. 07. 14.

Machine Learning in Materials Science인용 수 13

한 줄 요약

본 논문은 제로샷/퓨샷 맥락 분류를 통한 대형 언어 모델(LLMs)의 분자 특성 예측 활용과 SMILES에 대한 LLM 생성 설명으로 구성된 CaR 표현을 새로 도입한 연구를 다루며, CaR이 벤치마크 데이터셋에서 종종 기준선과 같거나 이를 능가하는 성과를 보임을 보여준다.

ABSTRACT

Molecular property prediction has gained significant attention due to its transformative potential in multiple scientific disciplines. Conventionally, a molecule graph can be represented either as a graph-structured data or a SMILES text. Recently, the rapid development of Large Language Models (LLMs) has revolutionized the field of NLP. Although it is natural to utilize LLMs to assist in understanding molecules represented by SMILES, the exploration of how LLMs will impact molecular property prediction is still in its early stage. In this work, we advance towards this objective through two perspectives: zero/few-shot molecular classification, and using the new explanations generated by LLMs as representations of molecules. To be specific, we first prompt LLMs to do in-context molecular classification and evaluate their performance. After that, we employ LLMs to generate semantically enriched explanations for the original SMILES and then leverage that to fine-tune a small-scale LM model for multiple downstream tasks. The experimental results highlight the superiority of text explanations as molecular representations across multiple benchmark datasets, and confirm the immense potential of LLMs in molecular property prediction tasks. Codes are available at \url{https://github.com/ChnQ/LLM4Mol}.

연구 동기 및 목표

• 자연어 처리 시대의 모델 도메인으로서 분자 특성 예측을 고무하고, SMILES 기반 작업에서 LLM의 능력을 평가한다.
• ChatGPT를 활용한 인맥락 학습을 통한 제로샷/퓨샷 분자 분류를 조사한다.
• CaR(Captions as New Representation)을 제안하여 SMILES의 의미론적 설명을 생성하고 다운스트림 모델링에 활용한다.
• LLM이 생성한 설명으로 소형 언어 모델을 미세조정하여 분류 및 회귀 작업을 수행한다.
• 여러 데이터셋에서 CaR을 그래프 기반 및 SMILES 기반 기준과 비교한다.

제안 방법

• 제로샷/퓨샷 능력을 평가하기 위해 ChatGPT에 대해 맥락 내 분자 분류를 수행하도록 프롬프트한다.
• ChatGPT를 사용하여 SMILES 문자열에 의미적으로 풍부한 설명을 생성하고, 이 설명을 분자 표현(CaR)으로 활용한다.
• CaR 표현을 사용하여 다운스트림 작업에서 소형 사전학습 LM(예: RoBERTa)을 미세조정한다.
• 분류 및 회귀 작업을 아우르는 아홉 개 데이터셋에서 성능을 평가한다.
• 작은 LM을 다른 사전학습 모델(DeBERTa, adaptive-lm-molecules)로 교체하고 처음부터 학습하는 방식으로 수렴 분석 및 제거실험(ablations)을 수행한다.

실험 결과

연구 질문

• RQ1 전통적인 방법에 비해 ChatGPT가 제로샷/퓨샷 분자 분류를 효과적으로 수행할 수 있는가?
• RQ2 LLM이 생성한 텍스트 설명이 분자 특성 예측에 의미 있는 표현을 제공하는가?
• RQ3 CaR이 다양한 데이터셋에서 기존의 GNNs 및 SMILES 기반 방법보다 성능을 개선하는가?
• RQ4 무작위 분할과 scaffold 분할, 그리고 서로 다른 작은 LM 백본에서 CaR이 어떻게 작동하는가?
• RQ5 CaR 파이프라인에서 사전 학습된 LM과 처음부터 학습한 LM 사용의 영향은 무엇인가?

주요 결과

• CaR은 무작위 분할에서 분류와 회귀 모두에서 거의 모든 데이터셋에서 우수한 성과를 달성한다.
• 무작위 분할에서 PTC 데이터셋에 대해 전통적 방법 대비 53% 개선을 보인다.
• 스캐폴드 분할 하에서 CaR은 여러 데이터셋에서 경쟁력 있는 결과를 달성하며, 일부 케이스에서 뚜렷한 이득과 Lipophilicity에서 GNN 대비 약간의 열세를 보인다.
• 수렴 분석에 따르면 CaR 손실은 초기에는 빠르게 감소하다가 수렴 쪽으로 변동하며, ROC-AUC는 반대 경향을 보인다.
• 작은 LM을 다른 사전학습 LM(DeBERTa, adaptive-LM Molecules)으로 교체하면 처음부터 학습하는 것보다 비슷하거나 더 나은 성능이 나타나며, CaR의 효과성을 검증한다.
• 제로샷/퓨샷 ChatGPT 성능은 데이터셋과 프롬프트에 따라 달라지며, 샷 수가 늘어나면 개선되지만 프롬프트 설계가 결과에 결정적으로 영향을 미친다.