[논문 리뷰] BioT5: Enriching Cross-modal Integration in Biology with Chemical Knowledge and Natural Language Associations

Qizhi Pei, Wei Zhang외 6명|arXiv (Cornell University)|2023. 10. 11.

Machine Learning in Bioinformatics인용 수 6

한 줄 요약

BioT5는 생물학 분야에서 교차 모odal 통합을 향상시키기 위해 SELFIES를 활용해 강력한 분자 표현을 하고, 생물의학 문헌에서의 문맥적 자연어 연관성을 확보하는 통합 사전 훈련 프레임워크를 제안한다. 이는 기존 모델보다 분자 기술 및 텍스트 기반 분자 생성에서 더 높은 정확도를 달성하며, 구조화된 지식과 비구조화된 지식을 별도로 처리함으로써 100% 유효한 SMILES 유사 구조를 생성한다.

ABSTRACT

Recent advancements in biological research leverage the integration of molecules, proteins, and natural language to enhance drug discovery. However, current models exhibit several limitations, such as the generation of invalid molecular SMILES, underutilization of contextual information, and equal treatment of structured and unstructured knowledge. To address these issues, we propose $\mathbf{BioT5}$, a comprehensive pre-training framework that enriches cross-modal integration in biology with chemical knowledge and natural language associations. $\mathbf{BioT5}$ utilizes SELFIES for $100%$ robust molecular representations and extracts knowledge from the surrounding context of bio-entities in unstructured biological literature. Furthermore, $\mathbf{BioT5}$ distinguishes between structured and unstructured knowledge, leading to more effective utilization of information. After fine-tuning, BioT5 shows superior performance across a wide range of tasks, demonstrating its strong capability of capturing underlying relations and properties of bio-entities. Our code is available at $\href{https://github.com/QizhiPei/BioT5}{Github}$.

연구 동기 및 목표

• 기존 모델의 한계, 예를 들어 유효하지 않은 SMILES 생성 및 생물학적 텍스트 내 문맥 정보의 부족 이용을 해결하기 위해.
• 분자-텍스트 쌍과 같은 구조화된 지식과 생물의학 문헌과 같은 비구조화된 지식을 구분하여 교차 모달 통합을 향상시키기 위해.
• 통합 사전 훈련 프레임워크를 통해 화학 지식과 자연어 연관성을 통합하여 분자 및 단백질 표현 학습을 향상시키기 위해.
• 시퀀스와 문맥적 텍스트 정보를 모두 활용하여 정확하고 유효한 분자 구조와 기술을 생성할 수 있는 모델을 개발하기 위해.

제안 방법

• 유효한 구조 생성을 방지하기 위해 SMILES 대신 SELFIES를 사용하여 100% 강력한 분자 표현을 구현한다.
• 생물의학 텍스트를 명시적 실체 인식 및 실체 연결을 통해 분자/단백질 이름을 SELFIES 또는 FASTA 시퀀스로 치환하여 '랩핑된' 텍스트를 생성한다.
• 텍스트, 단백질 시퀀스(Fasta), 분자 시퀀스(SELFIES) 간에 마스킹 스펜 복구 목표를 적용한 공통의 T5 기반 인코더-디코더 아키텍처를 적용한다.
• 구조화된 데이터(예: ChEBI-20, ZINC-15)와 비구조화된 텍스트(PubMed)의 조합을 사용하여 사전 훈련을 수행하며, 각 모odal에 대해 별도의 목표를 설정한다.
• 분자의 생물학적 기능(예: 효소 억제)과의 연결을 통해 단백질 지식을 통합하여 문맥 정확도를 향상시킨다.
• 엔드 투 엔드 훈련을 통해 분자 기술 및 텍스트 기반 분자 생성과 같은 후행 작업에 모델을 피지컬 트레이닝한다.

실험 결과

연구 질문

• RQ1 화학 지식과 자연어 문맥을 통합하는 통합 사전 훈련 프레임워크가 생물학 분야의 교차 모달 통합을 향상시킬 수 있는가?
• RQ2 SMILES를 SELFIES로 대체함으로써 생성 모델에서 유효하지 않은 분자 구조 생성을 상당히 줄일 수 있는가?
• RQ3 생물의학 문헌의 주변 텍스트에서의 문맥 정보가 분자 및 단백질 표현의 정확도를 향상시킬 수 있는가?
• RQ4 구조화된 지식과 비구조화된 지식을 구분함으로써 생물 인코딩 작업에서 성능 향상이 이루어지는가?
• RQ5 단백질 지식의 통합이 시퀀스 수준 모델링을 초월하여 분자 기술 및 생성을 향상시킬 수 있는가?

주요 결과

• BioT5는 분자 기술 분야에서 최신 기술 성능을 달성하였으며, MolT5 및 T5와 비교해 분자 기능군의 위치나 기능기의 정확도를 더 잘 기술한다.
• 텍스트 기반 분자 생성에서 BioT5는 100% 유효한 분자 구조를 생성하며, 유효하지 않은 SMILES를 생성하는 MolT5와 비교해 뛰어난 성능을 보였다.
• BioT5는 SARS-CoV-2 메인 프로테아제와 같은 특정 단백질의 억제제로 복잡한 분자를 정확히 식별하여 생물학적 문맥 통합의 효과를 입증했다.
• 모델는 반복적인 출력이 관찰되는 기준 모델(MolT5)과는 달리 의미적으로 일관되고 다양한 출력을 생성한다.
• 복잡하고 긴 분자에서 특히 GPT-3.5-turbo 및 MolXPT와 같은 강력한 기준 모델보다 뛰어난 성능을 보였으며, 이는 강력한 SELFIES 표현 덕분이었다.
• 모델가 다당류를 분자로 처리할 수 있는 능력은 소분자와 단백질 사이의 경계가 흐릿하다는 것을 시사하며, 공동 모델링의 상호 이점이 있음을 암시한다.