[論文レビュー] FGBERT: Function-Driven Pre-trained Gene Language Model for Metagenomics

Chenrui Duan, Zelin Zang+7 more|arXiv (Cornell University)|Feb 24, 2024

Machine Learning in Bioinformatics被引用数 5

ひとこと要約

FGBERTはMGMとTEM-CLを備えた機能認識型のメタゲノム事前学習モデルを導入し、8つの下流タスクで最先端の結果を達成します。

ABSTRACT

Metagenomic data, comprising mixed multi-species genomes, are prevalent in diverse environments like oceans and soils, significantly impacting human health and ecological functions. However, current research relies on K-mer, which limits the capture of structurally and functionally relevant gene contexts. Moreover, these approaches struggle with encoding biologically meaningful genes and fail to address the One-to-Many and Many-to-One relationships inherent in metagenomic data. To overcome these challenges, we introduce FGBERT, a novel metagenomic pre-trained model that employs a protein-based gene representation as a context-aware and structure-relevant tokenizer. FGBERT incorporates Masked Gene Modeling (MGM) to enhance the understanding of inter-gene contextual relationships and Triplet Enhanced Metagenomic Contrastive Learning (TMC) to elucidate gene sequence-function relationships. Pre-trained on over 100 million metagenomic sequences, FGBERT demonstrates superior performance on metagenomic datasets at four levels, spanning gene, functional, bacterial, and environmental levels and ranging from 1k to 213k input sequences. Case studies of ATP Synthase and Gene Operons highlight FGBERT's capability for functional recognition and its biological relevance in metagenomic research.

研究の動機と目的

• K-merベースのアプローチを超えた、複数種のメタゲノムデータに対する表現の改善を目指す。
• 遺伝子の文脈と構造を捉える、文脈認識型のタンパク質ベースの遺伝子トークン化を開発する。
• 遺伝子間・遺伝子内の文脈学習のためのMasked Gene Modeling (MGM)を提案する。
• 遺伝子配列と機能の関係をモデル化するためのTriple Enhanced Metagenomic Contrastive Learning (TEM-CL)を提案する。
• 複数の下流の機能タスクと病原性タスクにおけるエンドツーエンドの改善を実証する。

提案手法

• ESM-2 をベースにした文脈認識型トークナイザーとして、各遺伝子配列を方向認識付きの1281次元埋め込みで符号化するタンパク質ベースの遺伝子表現を用いる。
• 遺伝子トークンの15%をマスクして予測することで、遺伝子エンコーダを事前学習するMasked Gene Modeling (MGM)を導入し、Feature Reconstruction Loss (FRL)とProbability Prediction Loss (PPL)を組み合わせる。
• データ拡張とハードネガティブサンプリングを組み合わせて、SupCon-Hard損失変種を用いて機能別に遺伝子をクラスタリングするTEM-CLを統合する。
• 陽性遺伝子サンプルを突然変異によって生成し、EC-functionグループに基づくクラスタ認識サンプリングでネガティブを計算するデータ拡張パイプラインを用いる。
• L_Total = L_MGM + lambda * L_Triを同時最適化して、メタゲノム遺伝子配列と機能の共表現を学習する。

実験結果

リサーチクエスチョン

• RQ1 固定されたK-merを超えて、生物学的に意味のある方法でメタゲノム配列をトークン化するにはどうすればよいか？
• RQ2 文脈認識型で機能に関連する表現は、分類学・機能・生態学にわたる下流のメタゲノムタスクを改善できるか？
• RQ3 MGMとTEM-CLは、遺伝子間の文脈（One-to-Many）と遺伝子-機能の対応（Many-to-One）のモデリングを共同で改善するか？
• RQ4 タンパク質ベースのトークナイザーは、長いメタゲノム配列の性能と効率の面で有益か？

主な発見

手法	オペロン M.F1	オペロン W.F1	CARD-A M.F1	CARD-A W.F1	CARD-D M.F1	CARD-D W.F1	CARD-R M.F1	CARD-R W.F1	VFDB M.F1	VFDB W.F1	ENZYME M.F1	ENZYME W.F1	PATRIC M.F1	PATRIC W.F1	NCycDB M.F1	NCycDB W.F1
Ours	61.8	65.4	78.6	90.1	57.4	85.2	69.4	91.4	75.7	90.2	99.1	98.8	99.3	99.0	99.5	99.2

• FGBERTは、広範なベースラインセットと比較して、8つの下流タスクで最先端のMacro F1およびWeighted F1スコアを達成する。
• Operon予測（E-K12）では、FGBERTは61.8% M.F1と65.4% W.F1を達成し、他の選択肢を上回る。
• CARD-AMRカテゴリー（A, D, R）では、FGBERTはCARD-Aで78.6% M.F1と90.1% W.F1、CARD-Dで57.4% M.F1と85.2% W.F1、CARD-Rで69.4% M.F1と91.4% W.F1を達成。
• VFDB, ENZYME, PATRIC, NCycDBでは、それぞれVFDBで75.7% M.F1 / 90.2% W.F1、ENZYMEで99.1% M.F1 / 98.8% W.F1、PATRICで99.3% M.F1 / 99.0% W.F1、NCycDBで99.5% M.F1 / 99.2% W.F1を達成。
• アブレーションでは、MGMとTEM-CLの双方が性能に寄与することが示され、MGMがタスク全体でより大きな影響を与える。