[논문 리뷰] FGBERT: Function-Driven Pre-trained Gene Language Model for Metagenomics

Chenrui Duan, Zelin Zang외 7명|arXiv (Cornell University)|2024. 02. 24.

Machine Learning in Bioinformatics인용 수 5

한 줄 요약

FGBERT는 MGM과 TEM-CL을 갖춘 기능 인지 메타게놈 사전학습 모델을 도입하여 여덟 가지 다운스트림 작업에서 최첨단 성과를 달성합니다.

ABSTRACT

Metagenomic data, comprising mixed multi-species genomes, are prevalent in diverse environments like oceans and soils, significantly impacting human health and ecological functions. However, current research relies on K-mer, which limits the capture of structurally and functionally relevant gene contexts. Moreover, these approaches struggle with encoding biologically meaningful genes and fail to address the One-to-Many and Many-to-One relationships inherent in metagenomic data. To overcome these challenges, we introduce FGBERT, a novel metagenomic pre-trained model that employs a protein-based gene representation as a context-aware and structure-relevant tokenizer. FGBERT incorporates Masked Gene Modeling (MGM) to enhance the understanding of inter-gene contextual relationships and Triplet Enhanced Metagenomic Contrastive Learning (TMC) to elucidate gene sequence-function relationships. Pre-trained on over 100 million metagenomic sequences, FGBERT demonstrates superior performance on metagenomic datasets at four levels, spanning gene, functional, bacterial, and environmental levels and ranging from 1k to 213k input sequences. Case studies of ATP Synthase and Gene Operons highlight FGBERT's capability for functional recognition and its biological relevance in metagenomic research.

연구 동기 및 목표

• 다중 종 메타게놈 데이터에 대한 K-mer 기반 접근법을 넘어 개선된 표현 형식을 모티브로 삼는다.
• 맥락 인식, 단백질 기반 유전자 토큰화를 개발하여 유전자 맥락과 구조를 포착한다.
• inter-/intra-gene 맥락 학습을 위한 Masked Gene Modeling (MGM)을 제안한다.
• 유전자 서열-기능 관계를 모델링하기 위한 Triple Enhanced Metagenomic Contrastive Learning (TEM-CL)을 제안한다.
• 다수의 다운스트림 기능 및 병원성 관련 작업에서 엔드투엔드 향상을 시연한다.

제안 방법

• ESM-2를 기반으로 한 맥락 인식 토크나이저로서 단백질 기반 유전자 표현을 사용하여 각 유전자 서열을 방향성 인식 1281D 임베딩으로 인코딩한다.
• 15%의 유전자 토큰을 마스킹하고 이를 예측하는 방법으로 Gene Encoder를 사전 학습하는 Masked Gene Modeling (MGM)을 도입하여 Feature Reconstruction Loss (FRL)와 Probability Prediction Loss (PPL)을 결합한다.
• 데이터 증강 및 Hard negative 샘플링이 포함된 Triplet Enhanced Metagenomic Contrastive Learning (TEM-CL)을 도입하여 SupCon-Hard 손실 변형을 사용해 기능별로 유전자를 군집화한다.
• Mutations를 통해 양성 유전자 샘플을 생성하고 EC-기능 그룹 기반의 군집 인식 샘플링으로 음수를 계산하는 데이터 증강 파이프라인을 활용한다.
• L_Total = L_MGM + lambda * L_Tri를 함께 최적화하여 메타게놈 유전자 서열과 기능의 공표현을 학습한다.

실험 결과

연구 질문

• RQ1 메타게놈 서열을 고정된 K-mer를 넘어서 생물학적으로 의미 있는 방식으로 토큰화할 수 있는가?
• RQ2 맥락 인식이고 기능과 관련된 표현이 분류, 분류 및 생태계의 다운스트림 작업을 개선할 수 있는가?
• RQ3 MGM과 TEM-CL이 상호-혹은 다수의-에 대해 유전자 간 맥락(일대다) 및 유전자-기능 매핑(다대일) 모델링에 공동으로 기여하는가?
• RQ4 단백질 기반 토크나이저가 성능 및 효율성 면에서 긴 메타게놈 서열에 이로운가?

주요 결과

• FGBERT는 넓은 베이스라인 세트와 비교하여 여덟 개의 다운스트림 작업에서 상태-오브-더-아트의 매크로 F1 및 가중 F1 점수를 달성한다.
• operon 예측(E-K12)에서 FGBERT는 61.8% M.F1 및 65.4% W.F1로 대안보다 우수하다.
• CARD-AMR 카테고리(A, D, R)에서 FGBERT는 CARD-A에서 78.6% M.F1 및 90.1% W.F1, CARD-D에서 57.4% M.F1 및 85.2% W.F1, CARD-R에서 69.4% M.F1 및 91.4% W.F1을 달성한다.
• VFDB, ENZYME, PATRIC 및 NCycDB에서 FGBERT는 VFDB에서 75.7% M.F1 / 90.2% W.F1, ENZYME에서 99.1% M.F1 / 98.8% W.F1, PATRIC에서 99.3% M.F1 / 99.0% W.F1, NCycDB에서 99.5% M.F1 / 99.2% W.F1를 달성한다.
• 아블리에이션 결과는 MGM과 TEM-CL이 모두 성능에 기여하며, MGM이 여러 작업에서 더 큰 영향을 미친다는 것을 보여준다.