[논문 리뷰] nach0: Multimodal Natural and Chemical Languages Foundation Model

Micha Livne, Zulfat Miftahutdinov외 9명|arXiv (Cornell University)|2023. 11. 21.

Topic Modeling참고 문헌 17인용 수 4

한 줄 요약

이 논문은 과학적 텍스트와 SMILES 형식의 분자 문자열을 함께 사전 훈련한 다중모달 인코더-디코더 기초 모델인 nach0을 소개한다. 이를 통해 자연어와 화학어 이해를 통합한다. NVIDIA의 NeMo 프레임워크를 활용한 지시 훈련을 통해, nach0는 분자 생성, 반응 예측, 생물의학 질문 응답 등 다양한 생물의학 및 화학 과제에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Large Language Models (LLMs) have substantially driven scientific progress in various domains, and many papers have demonstrated their ability to tackle complex problems with creative solutions. Our paper introduces a new foundation model, nach0, capable of solving various chemical and biological tasks: biomedical question answering, named entity recognition, molecular generation, molecular synthesis, attributes prediction, and others. nach0 is a multi-domain and multi-task encoder-decoder LLM pre-trained on unlabeled text from scientific literature, patents, and molecule strings to incorporate a range of chemical and linguistic knowledge. We employed instruction tuning, where specific task-related instructions are utilized to fine-tune nach0 for the final set of tasks. To train nach0 effectively, we leverage the NeMo framework, enabling efficient parallel optimization of both base and large model versions. Extensive experiments demonstrate that our model outperforms state-of-the-art baselines on single-domain and cross-domain tasks. Furthermore, it can generate high-quality outputs in molecular and textual formats, showcasing its effectiveness in multi-domain setups.

연구 동기 및 목표

• 자연어와 화학어 표현을 동시에 이해하고 생성할 수 있는 통합 기초 모델 개발.
• 기존 모델들이 자연어와 화학 구조 데이터를 별도로 다루며 종종 SMILES 형식의 분자 데이터를 생략하는 한계를 해결.
• 과학 문헌과 분자 문자열을 공동으로 사전 훈련함으로써 약물 발견 분야의 교차 도메인 성능 향상.
• 지시 훈련을 통해 다양한 화학 및 생물의학 NLP 과제에서 효과적인 소수의 예제 및 제로샷 적응을 가능하게 함.
• 후속 과제에 대해 특화된 미세조정 없이도 다중 과제, 다중 도메인 환경(예: 역합성, 성질 예측, 분자 기술 생성 등)을 처리할 수 있는 단일 모델의 효과성을 입증.

제안 방법

• PubMed, 특허 등 과학 문헌과 ZINC15, PubChem의 SMILES 문자열을 포함한 대규모 코퍼스를 기반으로 트랜스포저 기반 인코더-디코더 모델을 사전 훈련.
• 마스크된 언어 모델링과 복원 오토인코더와 같은 자기지도 학습 목표를 활용해 다중 모odal 간의 문맥적 표현을 학습.
• NVIDIA의 NeMo 프레임워크를 사용해 다중 GPU 및 분산 훈련을 효율적으로 수행하기 위해 기본 및 대용량 버전의 모델을 미세조정.
• 특정 과제에 맞는 프롬프트(예: '분자를 기술하시오: C1=CC(=CC=C1...)')를 적용해 지시 훈련을 통해 모델 출력을 후속 과제 요구사항에 맞추기.
• 자연어 토큰과 화학 전용 토큰(예: SMILES의 정규 표현식 기반 토크나이제이션)을 포함하는 통합 어휘 사용.
• T5 기반 아키텍처를 활용해 다양한 화학 및 NLP 과제에서 시퀀스에서 시퀀스 생성 및 시퀀스에서 시퀀스 분류를 지원.

실험 결과

연구 질문

• RQ1 단일 기초 모델이 자연어와 화학 구조(예: SMILES) 표현을 효과적으로 통합하여 다중 도메인 과제를 수행할 수 있는가?
• RQ2 과학적 텍스트와 분자 문자열을 공동으로 사전 훈련하면, 모odal 별로 특화된 모델보다 후속 화학 및 생물의학 NLP 과제에서 성능이 향상되는가?
• RQ3 지시 훈련이 다양한 화학 및 생물학 과제에서 다중모달 기초 모델의 제로샷 및 소수의 예제 일반화 능력을 어느 정도 향상시키는가?
• RQ4 nach0는 자연어 기술에서 분자 성질 예측이나 반응 경로 생성과 같은 교차 도메인 설정에서 어떻게 성능을 보이는가?
• RQ5 역합성, 분자 생성, 생물의학 질문 응답과 같은 과제에서 전용 모델보다 통합 모델이 성능 면에서 뛰어나게 되는가?

주요 결과

• nach0는 생물의학 질문 응답, 명명된 실체 인식, 분자 속성 예측과 같은 단일 도메인 및 교차 도메인 과제에서 최신 기술 수준의 베이스라인을 초월한다.
• 과제에 특화된 미세조정 없이도 분자 생성, 역합성, 반응 예측 과제에서 강력한 제로샷 및 소수의 예제 성능을 달성한다.
• 지시 훈련은 출력 품질 향상과 과제 요구사항에 대한 일치도를 크게 향상시켜 화학적으로 타당하고 의미적으로 유의미한 출력 생성을 가능하게 한다.
• nach0는 분자 기술 생성 및 성질 예측과 같은 다양한 화학 및 생물학 과제에서 강력한 일반화 능력을 보여준다.
• Chemformer 및 MolT5와 같은 전용 모델과 경쟁 가능한 성능을 보이며, 통합된 다중 과제 프레임워크 내에서 작동한다.
• 모델 가중치는 수락 후 HuggingFace 및 NVIDIA NGC 카탈로그에 공개되어 연구 및 응용 접근성을 넓힐 예정이다.