[논문 리뷰] BioT5+: Towards Generalized Biological Understanding with IUPAC Integration and Multi-task Tuning

Qizhi Pei, Lijun Wu외 7명|arXiv (Cornell University)|2024. 02. 27.

Chemical Reactions and Isotopes인용 수 4

한 줄 요약

BioT5+는 IUPAC 이름 통합, 다중 작업 지시 미세조정, 수치 토큰화를 통해 생물학적 언어 모델링을 향상시켜 21개 벤치마크에서 15개의 다양한 작업에 걸쳐 일반화 능력을 크게 향상시켰다. 분류, 회귀, 생성 작업 전반에서 최신 기술 수준의 성능을 달성하였으며, 특히 기능 기반 설명에 기반한 단백질 설계에서 0.972의 정규화된 Smith-Waterman 점수를 기록하여 뛰어난 성능을 보였다.

ABSTRACT

Recent research trends in computational biology have increasingly focused on integrating text and bio-entity modeling, especially in the context of molecules and proteins. However, previous efforts like BioT5 faced challenges in generalizing across diverse tasks and lacked a nuanced understanding of molecular structures, particularly in their textual representations (e.g., IUPAC). This paper introduces BioT5+, an extension of the BioT5 framework, tailored to enhance biological research and drug discovery. BioT5+ incorporates several novel features: integration of IUPAC names for molecular understanding, inclusion of extensive bio-text and molecule data from sources like bioRxiv and PubChem, the multi-task instruction tuning for generality across tasks, and a numerical tokenization technique for improved processing of numerical data. These enhancements allow BioT5+ to bridge the gap between molecular representations and their textual descriptions, providing a more holistic understanding of biological entities, and largely improving the grounded reasoning of bio-text and bio-sequences. The model is pre-trained and fine-tuned with a large number of experiments, including \emph{3 types of problems (classification, regression, generation), 15 kinds of tasks, and 21 total benchmark datasets}, demonstrating the remarkable performance and state-of-the-art results in most cases. BioT5+ stands out for its ability to capture intricate relationships in biological data, thereby contributing significantly to bioinformatics and computational biology. Our code is available at \url{https://github.com/QizhiPei/BioT5}.

연구 동기 및 목표

• 기존 생물학적 언어 모델에서 IUPAC 이름 모델링의 부족으로 인해 분자의 구조적 기술에 대한 텍스트 이해 능력이 제한되는 문제를 해결하기 위해.
• 작업 전용 미세조정을 통합된 다중 작업 지시 미세조정 프레임워크로 대체하여 다양한 생물학적 작업 간의 일반화 능력을 향상시키기 위해.
• 신규한 수치 토큰화 기법을 도입하여 분자의 성질 예측 작업에 대한 모델 성능을 향상시키기 위해.
• bioRxiv와 PubMed의 광범위한 생물학적 텍스트, PubChem의 고품질 분자 데이터를 통합하여 훈련 데이터 범위를 확장하기 위해.
• 기능 기반 설명에 기반한 생물학적 시퀀스, 예를 들어 특정 기능을 갖춘 단백질을 지시에 따라 생성할 수 있도록 하기 위해.

제안 방법

• 생물학적 언어 모델링 프레임워크인 BioT5에 IUPAC 이름을 통합하여 공식적인 분자 표현 방식(예: SELFIES)을 과학 문헌에서 찾을 수 있는 자연어 기술과 일치시킴.
• 120만 건의 생물학적 텍스트( bioRxiv 및 PubMed에서 수집)와 150만 개의 분자( PubChem에서 수집)를 사전 훈련 데이터에 추가하여 맥락적 및 구조적 지식을 풍부하게 함.
• 분류, 회귀, 텍스트-시퀀스 생성을 포함한 15개의 다양한 생물학적 작업에 걸쳐 다중 작업 지시 미세조정을 시행하여 zero-shot 및 few-shot 일반화 능력을 향상시킴.
• 회귀 작업 성능 향상을 위해 수치 값(예: pIC50, logP 등)을 분리하고 인코딩하는 새로운 수치 토큰화 기법을 도입함.
• 약물 발견, 단백질 기능 예측, 시퀀스 생성을 포함한 21개의 벤치마크 데이터셋에 대해 통합된 T5 기반 아키텍처를 사용하여 모델을 미세조정함.
• 단백질 시퀀스 생성 품질 평가를 위해 정규화된 Smith-Waterman 정렬 점수를 사용하여 실제 시퀀스와의 강력한 비교를 보장함.

실험 결과

연구 질문

• RQ1 생물학적 언어 모델에 IUPAC 이름을 통합하면 자연어 맥락에서 분자의 구조 이해 능력이 향상되는가?
• RQ2 다중 작업 지시 미세조정이 작업 전용 미세조정보다 다양한 생물학적 NLP 작업 간의 일반화 능력에서 뛰어나게 성능을 높이는가?
• RQ3 신규한 수치 토큰화 전략이 생물학적 시퀀스 및 생물학적 텍스트의 회귀 작업 성능을 크게 향상시킬 수 있는가?
• RQ4 과학 문헌과 분자 데이터베이스를 활용한 사전 훈련 데이터 확장이 모델 성능 및 추론 능력 향상에 어느 정도 기여하는가?
• RQ5 기존 모델들과 비교해 기능 기반 설명에 기반한 생물학적으로 타당한 단백질 시퀀스 생성 능력이 얼마나 뛰어나게 되는가?

주요 결과

• BioT5+는 분류, 회귀, 생성 작업 전반에서 21개의 벤치마크 데이터셋 중 18개에서 최신 기술 수준의 성능을 달성하였다.
• 기능 기반 설명에 기반한 단백질 설계 작업에서 BioT5+는 정규화된 Smith-Waterman 점수 0.972를 기록하였으며, Galactica(0.109)와 Mol-Instructions(0.428)를 크게 앞서나갔다.
• 특수 설계된 수치 토큰화 기법 덕분에 특히 회귀 작업에서 뛰어난 zero-shot 일반화 능력을 보였다.
• 다중 작업 지시 미세조정 덕분에 작업 전용 미세조정 없이도 15개의 다양한 작업에서 우수한 성능을 발휘하여 훈련 비용을 줄이고 적응 능력을 향상시켰다.
• IUPAC 이름 통합으로 인해 모델의 자연어 기술과 분자 구조 간의 연결 능력이 향상되어 생물학적 텍스트에서의 정확한 추론 능력이 향상되었다.
• 두 번째 단백질 설계 벤치마크에서 BioT5+는 정규화된 SW 점수 0.916을 기록하여 Mol-Instructions(0.328)와 Galactica(0.119)를 압도적으로 앞섰다.