[논문 리뷰] Language models in molecular discovery

Nikita Janakarajan, Tim Erdmann외 3명|arXiv (Cornell University)|2023. 09. 28.

Machine Learning in Materials Science인용 수 5

한 줄 요약

이 논문은 트랜스포머 기반 아키텍처를 활용한 언어 모델의 분자 발견 가속화에 대한 응용을 검토하며, 신약 설계, 성질 예측, 반응 화학을 중심으로 다룹니다. 자연어를 통한 상호작용을 가능하게 하는 챗봇 인터페이스를 통해 대규모 언어 모델을 화학정보학 도구와 통합함으로써 비전문가도 복잡한 화학 작업을 수행할 수 있도록 하여, AI 기반 분자 설계의 접근 장벽을 크게 낮춘다는 점을 보여줍니다.

ABSTRACT

The success of language models, especially transformer-based architectures, has trickled into other domains giving rise to "scientific language models" that operate on small molecules, proteins or polymers. In chemistry, language models contribute to accelerating the molecule discovery cycle as evidenced by promising recent findings in early-stage drug discovery. Here, we review the role of language models in molecular discovery, underlining their strength in de novo drug design, property prediction and reaction chemistry. We highlight valuable open-source software assets thus lowering the entry barrier to the field of scientific language modeling. Last, we sketch a vision for future molecular design that combines a chatbot interface with access to computational chemistry tools. Our contribution serves as a valuable resource for researchers, chemists, and AI enthusiasts interested in understanding how language models can and will be used to accelerate chemical discovery.

연구 동기 및 목표

• 언어 모델이 신약 설계, 성질 예측, 반응 화학 분야에서 분자 발견을 어떻게 가속화하는지 검토하는 것.
• 연구자와 화학자들이 과학적 언어 모델링에 접근할 수 있도록 낮추는 오픈소스 소프트웨어 도구를 부각하는 것.
• 대화형으로 AI가 지원하는 발견이 가능한 미래의 분자 설계 비전을 제안하는 것.
• 자연어 기반의 분자 생성 및 분석을 위한 LLM과 화학정보학 파이프라인 간 실질적인 통합을 보여주는 것.

제안 방법

• SMILES, SELFIES, InChI 등의 분자 표현 방식으로 미세튜닝된 트랜스포머 기반 언어 모델을 사용하여 시퀀스 모델링을 수행합니다.
• 프롬프트 기반 미세튜닝을 활용하여 다중 작업 과학적 추론(예: 분자 생성, 성질 예측 등)에 언어 모델을 적응시킵니다.
• 외부 화학정보학 도구(PubChem, RDKit, GT4SD 등)와의 API 호출을 통해 사전 훈련된 LLM을 통합하여 화학 작업의 프로그래밍적 실행을 가능하게 합니다.
• 검색 기반 생성(RAG)과 도구 기반 프롬프팅을 활용하여 분자 작업의 추론 능력과 정확도를 향상시킵니다.
• 자연어 질의를 해석하고 PubChem, GT4SD 등의 외부 도구 호출을 조율하여 분자 식별, logP 계산, QED 스코어링, 성질 기반 생성 등의 복잡한 워크플로우를 수행하는 챗봇 인터페이스(예: ChemChat)를 개발하고 구현합니다.
• 회귀 트랜스포머와 부분구조 제약 생성 기법을 사용하여 logP 값이 높아진 분자를 생성합니다.

실험 결과

연구 질문

• RQ1 언어 모델은 화학 분야에서 초기 단계의 신약 설계를 효과적으로 가속화하는 데 어떻게 활용될 수 있는가?
• RQ2 프로그래밍 전문 지식 없이도 LLM이 자연어 질의를 복잡한 화학정보학 워크플로우와 연결할 수 있는 정도는 어느 정도인가?
• RQ3 GT4SD나 PubChem과 같은 외부 도구와 통합된 LLM의 분자 성질 예측 및 생성 성능는 어떠한가?
• RQ4 LLM과 화학정보학 도구의 통합은 AI 기반 분자 설계의 사용성과 접근성에 어떤 영향을 미치는가?
• RQ5 LLM 기반 챗봇은 분자 식별, 성질 계산, 생성 설계와 같은 다단계 화학적 추론 작업을 신뢰성 있게 수행할 수 있는가?

주요 결과

• SMILES와 같은 분자 시퀀스로 미세튜닝된 언어 모델은 성질 기반의 화학적 공간 탐색을 가능하게 하는 구조적 표현을 학습할 수 있습니다.
• 250M 파라미터만을 가진 Multitask Text and Chemistry T5 모델이, 더 큰 모델인 ChatGPT나 Galactica보다 공통 허브리시드의 재발견 작업에서 뛰어난 성능을 보였습니다.
• ChemChat과 같은 챗봇 인터페이스는 PubChem, GT4SD 등의 외부 도구 호출을 조율하여 분자 식별, logP 및 QED 계산과 같은 복잡한 워크플로우를 성공적으로 실행했습니다.
• 회귀 트랜스포머 모델을 통한 성질 기반 분자 생성은 목표 logP 값 -0.5를 가진 셰오브로민 유사체 3종을 생성하여 제약 조건 기반 정밀 설계의 가능성을 입증했습니다.
• LLM과 화학정보학 도구의 통합은 비프로그래머도 자연어를 통해 고급 화학 작업을 수행할 수 있도록 하여, AI 기반 분자 설계의 기술적 접근 장벽을 크게 낮춥니다.
• LLM과 기존 소프트웨어(RDKiT, GT4SD 등)의 융합은 비동기 계산과 시각화 및 상호작용 가능한 데이터 출력을 포함한 구조화된 응답 형식을 가능하게 합니다.