[논문 리뷰] Transformers and Large Language Models for Chemistry and Drug Discovery

Andres M Bran, Philippe Schwaller|arXiv (Cornell University)|2023. 10. 09.

Machine Learning in Materials Science인용 수 8

한 줄 요약

이 장은 Transformer 모델과 대형 언어 모델이 화학 및 신약 개발에 어떻게 적용되는지 조사한다. 표현, 작업별 모델, 다중 모달 데이터 및 화학 작업을 해결하기 위해 외부 도구에 접근하는 언어 모델 기반 에이전트를 다룬다.

ABSTRACT

Language modeling has seen impressive progress over the last years, mainly prompted by the invention of the Transformer architecture, sparking a revolution in many fields of machine learning, with breakthroughs in chemistry and biology. In this chapter, we explore how analogies between chemical and natural language have inspired the use of Transformers to tackle important bottlenecks in the drug discovery process, such as retrosynthetic planning and chemical space exploration. The revolution started with models able to perform particular tasks with a single type of data, like linearised molecular graphs, which then evolved to include other types of data, like spectra from analytical instruments, synthesis actions, and human language. A new trend leverages recent developments in large language models, giving rise to a wave of models capable of solving generic tasks in chemistry, all facilitated by the flexibility of natural language. As we continue to explore and harness these capabilities, we can look forward to a future where machine learning plays an even more integral role in accelerating scientific discovery.

연구 동기 및 목표

• 드럭 디스커리를 가속화하기 위한 언어 문제로서의 화학 연구를 고무한다.
• Transformer 모델을 위한 분자 및 반응의 텍스트 및 다중 모달 표현을 검토한다.
• retrosynthesis 및 반응 예측과 같은 화학 작업에 대한 작업별 Transformer 접근법을 요약한다.
• 화학 작업에서의 고급 언어 모델, 미세 조정, 맥락 내 학습 및 에이전트 기반 시스템을 논의한다.

제안 방법

• 분자와 반응을 텍스트 시퀀스(예: SMILES, SELFIES)로 표현하여 Transformer 기반 모델링을 가능하게 한다.
• 반응 결과 예측 및 retrosynthesis와 같은 번역 스타일 작업을 위한 인코더-디코더 또는 인코더-만의 아키텍처를 사용한다.
• 화학 작업에 대해 모델을 사전 학습하고 미세 조정하여 응용 간 전이성을 향상시킨다(예: ChemFormer).
• 주의 분석으로부터 표현과 RXNMapper 같은 도구를 학습하기 위한 비지도 학습을 탐구한다.
• 다중 모달 데이터(스펙트럼, 합성 절차, 인간 언어)를 통합하여 다중 모달 모델을 구축한다.
• 화학 작업과 불확실성 인식 회귀에 대한 미세 조정 및 맥락 학습을 포함한 대형 언어 모델(LLMs)을 논의한다.

실험 결과

연구 질문

• RQ1 Transformer 아키텍처를 사용하여 단일 및 다중 모달 작업 전반에서 화학 언어를 효과적으로 모델링할 수 있는가?
• RQ2 대형 언어 모델이 신약 개발에서 일반 화학 추론 및 작업 해결을 수행하는 데 어떤 잠재력과 한계가 있는가?
• RQ3 외부 도구를 기반으로 한 LLM 파생 에이전트가 화학 추론 작업의 신뢰성과 도달 범위를 개선할 수 있는가?
• RQ4 Transformer의 비지도 표현이 반응 예측 및 공간 탐색과 같은 작업에 대해 화학 지식과 얼마나 일치하는가?

주요 결과

• Transformer는 반응과 retrosynthesis를 번역 문제로 구성하여 화학 작업에서 최첨단 성능을 달성한다.
• 인코더 전용 및 디코더 전용 변형은 분자, 반응 및 특성에 대해 강력한 표현력과 생성 능력을 제공한다.
• 다중 모달 및 언어 기반 표현은 화학 데이터와 인간의 언어를 연결하여 분자 캡션 생성 및 실험 단계 예측과 같은 작업을 가능하게 한다.
• 미세 조정 및 맥락 학습이 가능한 LLM은 데이터가 희소한 화학 작업에 대응할 수 있으며 일부 경우에는 전문 방법에 근접하거나 이를 능가한다.
• 에이전트 프레임워크(예: MRKL, ReAct, ChemCrow)는 화학에서의 근거 제시와 도구 사용을 보여주며 LLM의 신뢰성과 실용적 적용성을 향상시킨다.