[논문 리뷰] Interactive Molecular Discovery with Natural Language

Zheni Zeng, Bangchen Yin외 8명|arXiv (Cornell University)|2023. 06. 21.

Machine Learning in Materials ScienceMaterials Science인용 수 3

한 줄 요약

이 논문은 연구자가 자연어를 사용하여 목표 분자를 기술하고 편집할 수 있는 상호작용 기반의 새로운 프레임워크인 대화형 분자 설계를 소개한다. 저자들은 실험적 성질과 3D 분자 공간 지식을 통합함으로써 자연어와 화학어를 연결하는 지식 강화형 생성 모델인 ChatMol을 제안한다. 이는 기존 방법에 비해 훈련 비용을 줄이며 분자 생성 및 이해 작업에서 성능을 크게 향상시킨다.

ABSTRACT

Natural language is expected to be a key medium for various human-machine interactions in the era of large language models. When it comes to the biochemistry field, a series of tasks around molecules (e.g., property prediction, molecule mining, etc.) are of great significance while having a high technical threshold. Bridging the molecule expressions in natural language and chemical language can not only hugely improve the interpretability and reduce the operation difficulty of these tasks, but also fuse the chemical knowledge scattered in complementary materials for a deeper comprehension of molecules. Based on these benefits, we propose the conversational molecular design, a novel task adopting natural language for describing and editing target molecules. To better accomplish this task, we design ChatMol, a knowledgeable and versatile generative pre-trained model, enhanced by injecting experimental property information, molecular spatial knowledge, and the associations between natural and chemical languages into it. Several typical solutions including large language models (e.g., ChatGPT) are evaluated, proving the challenge of conversational molecular design and the effectiveness of our knowledge enhancement method. Case observations and analysis are conducted to provide directions for further exploration of natural-language interaction in molecular discovery.

연구 동기 및 목표

• 기존 분자 설계 시스템에서 전문적인 화학 표기법(예: SMILES)에 의존함으로써 발생하는 높은 기술적 장벽과 낮은 상호작용성을 해결하기 위해.
• 자연어를 주된 매체로 사용하여 영구적인 다중 대화형 상호작용을 가능하게 하여 분자 설계의 유연성을 확보하기 위해.
• 분자 작업에서 자연어 기술 설명과 화학어 표현(예: SMILES) 간의 의미 격차를 해소하기 위해.
• 정확성과 해석 가능성 향상을 위해 도메인 특화 분자 지식—특히 실험적 성질과 3D 구조 정보—를 언어 모델에 통합하기 위해.
• 대화 환경에서 분자 이해 및 생성을 동시에 지원할 수 있는 확장 가능한 지식 증강 생성 모델 개발하기 위해.

제안 방법

• 저자들은 사용자가 자연어로 분자를 기술하거나 검색하거나 수정할 수 있도록 다중 대화를 통해 상호작용하는 대화형 분자 설계 프레임워크를 설계한다.
• SMILES 문자열과 생화학 문헌을 함께 사전 훈련하여 교차 언어적 연관성을 학습하는 것을 목표로, ChatMol이라는 미세조정된 생성형 사전 훈련 언어 모델을 도입한다.
• 분자 지식을 통합하기 위해 지식 기반에서 유래한 실험적 성질 데이터(예: 물리적·화학적 성질을 자연어로 기술한 것)와 분자 툴킷 계산을 통한 공간 구조 정보(예: 결합 유형, 고리 구조, 아로마틱성)를 기반으로 훈련한다.
• 규칙 기반 필터링 파이프라인을 사용하여 기존의 분자-기본 설명 병렬 데이터셋에서 ChEBI-dia 데이터셋을 구성함으로써 고품질이고 다양한 대화 예제를 확보한다.
• SMILES와 자연어 텍스트 양쪽에 대해 마스크된 언어 모델링을 수행한 후, 자연어 엔티티를 해당 화학 표현에 매핑하기 위한 교차 언어 정렬 헤드를 도입한다.
• 지식 통합은 이중 감독 방식으로 구현된다: (1) 문헌에서 엔티티 인식 및 SMILES 조회, (2) 힘장 기반의 구조 생성을 통한 3D 구조 특징 통합.

Figure 1: Conversational molecular design diagram.

실험 결과

연구 질문

• RQ1 자연어가 기존 화학 표기법을 대체하거나 보완할 수 있는 효과적이고 직관적인 인터페이스로 작용할 수 있는가?
• RQ2 단일 언어 모델이 대화 환경에서 자연어와 화학어를 효과적이고 상호보완적으로 이해하고 생성할 수 있는가?
• RQ3 실험적 성질과 3D 구조적 특징 등 도메인 특화 분자 지식을 통합할 경우, 분자 생성 및 이해 성능 향상에 어느 정도 기여하는가?
• RQ4 제안된 지식 강화 모델은 표준 대규모 언어 모델 및 기존 분자 모델에 비해 정확도, 효율성, 일반화 능력 측면에서 어떻게 비교되는가?
• RQ5 기본 참조 설명이 모호하거나 불완전한 경우, 대화형 분자 설계 시스템 평가의 주요 과제는 무엇인가?

주요 결과

• ChatMol은 ChatGPT와 같은 대규모 언어 모델을 포함한 베이스라인 모델에 비해 분자 이해 및 생성 작업에서 뚜렷한 성능 향상을 보이며, 지식 통합의 효과성을 입증한다.
• 더 큰 규모의 모델에 비해 훨씬 낮은 훈련 비용으로도 뛰어난 성능을 달성함으로써 높은 파라미터 효율성을 보여준다.
• 지식 기반에서 유래한 실험적 성질과 3D 공간 구조 정보 통합으로 인해 화학적으로 타당하고 기능적으로 타당한 분자를 생성할 수 있는 능력이 향상된다.
• 사례 연구를 통해 ChatMol은 '더 수용성 낮추기' 또는 '벤젠 고리 추가하기'와 같은 복잡한 자연어 지시어를 정확히 해석하고 구현할 수 있음을 확인했다.
• 규칙 기반 필터링을 통해 구성된 ChEBI-dia 데이터셋은 향후 대화형 분자 설계 분야의 연구를 위한 유의미한 기준 자료로 기여한다.
• 다소 유망한 결과에도 불구하고, 자연어 기술 설명의 모호성과 설명과 분자 간 일대일 대응이 없는 점으로 인해 평가 과정이 여전히 도전적이다.

Figure 2: Knowledgeable and versatile training process for ChatMol. The black arrows indicate the input to output direction of the task.