[논문 리뷰] InstructMol: Multi-Modal Integration for Building a Versatile and Reliable Molecular Assistant in Drug Discovery

He Cao, Zijing Liu외 3명|arXiv (Cornell University)|2023. 11. 27.

Machine Learning in Materials Science인용 수 14

한 줄 요약

InstructMol은 다중 모달 LLM으로, 두 단계의 지시 학습 파이프라인을 통해 분자 그래프와 시퀀스를 자연어와 정렬하여 분자 작업 성능을 향상시키고 전문 모델과의 격차를 줄입니다.

ABSTRACT

The rapid evolution of artificial intelligence in drug discovery encounters challenges with generalization and extensive training, yet Large Language Models (LLMs) offer promise in reshaping interactions with complex molecular data. Our novel contribution, InstructMol, a multi-modal LLM, effectively aligns molecular structures with natural language via an instruction-tuning approach, utilizing a two-stage training strategy that adeptly combines limited domain-specific data with molecular and textual information. InstructMol showcases substantial performance improvements in drug discovery-related molecular tasks, surpassing leading LLMs and significantly reducing the gap with specialized models, thereby establishing a robust foundation for a versatile and dependable drug discovery assistant.

연구 동기 및 목표

• 다재다능한 약물 발견 보조 도구를 가능하게 하기 위해 분자 표현(그래프와 시퀀스)을 자연어와 연결한다.
• 두 단계 학습 전략을 통해 제한된 도메인 데이터를 활용하여 모달리티를 정렬하고 다운스트림 작업에 적응한다.
• 일반 목적 LLM보다 향상을 보여주고 분자 작업 전반에서 전문 모델과의 격차를 줄인다.

제안 방법

• 분자 구조를 그래프와 시퀀스로 인코딩하고 가벼운 투사로 텍스트 공간에 정렬한다.
• 두 단계 학습: (i) 그래프 표상들을 텍스트 공간으로 투사하기 위한 분자-텍스트 쌍과의 정렬 사전 학습, (ii) 동결된 그래프 인코더와 LLM 위에 LoRA를 사용한 작업별 지시 학습.
• Vicuna-7B를 기본 LLM으로 사용하고 텍스트와 미리 정렬된 GIN 기반 분자 그래프 인코더(MoleculeSTM)를 사용한다.
• 분자-설명 데이터와 도메인 특화 작업 지시를 사용하여 LLM을 특성 예측, 설명 생성 및 반응 분석에 맞게 적응시킨다.

Figure 2 : Overview of InstructMol model architecture design and two-stage training paradigm. The example molecule in the figure is Terephthalaldehyde [ 62 ] (CID 12173).

실험 결과

연구 질문

• RQ1 다중 모달 지시 학습된 LLM이 약물 발견 작업을 위해 분자 그래프와 시퀀스를 자연어와 효과적으로 정렬할 수 있는가?
• RQ2 정렬 사전 학습과 작업별 지시 학습의 두 단계 파이프라인이 일반 목적 LLM 및 단일 모달 기준선보다 성능을 향상시키는가?
• RQ3 전문가 모델 및 다른 LLM 기반 기준선에 비해 InstructMol이 화합물 특성 예측, 분자 설명 생성 및 화학 반응 작업에서 어떻게 성능을 보이는가?

주요 결과

• InstructMol은 최첨단 일반 목적 LLM과 비교하여 분자 이해 및 설계 작업에서 LLM 성능을 지속적으로 향상시킨다.
• 데이터 부족 하에서 더 간단한 정렬 프로젝터를 활용한 두 단계 학습이 더 복잡한 교차 어텐션 방법보다 모달리티 정렬을 더 잘 수행한다.
• 분자 설명 생성과 특성 예측은 단일 모달 LLM 기준선 대비 이점을 보이나, 일부 지표에서는 전문 모델이 여전히 우위를 보인다.
• 별도 분석은 그래프-텍스트 사전 정렬과 LLM 적응에 LoRA를 사용하는 것이 수렴성과 작업 성능에 중요하다는 것을 시사한다.

Figure 3 : Comparison of biomolecule-domain molecule-text dataset scale with existing general domain vision-language datasets [ 4 , 81 , 13 , 87 , 71 ] .