Skip to main content
Nubint
QUICK REVIEW

[論文レビュー] Bio-xLSTM: Generative modeling, representation and in-context learning of biological and chemical sequences

Niklas Schmidinger, Lisa Schneckenreiter|arXiv (Cornell University)|Nov 6, 2024
Machine Learning in Bioinformatics被引用数 5
ひとこと要約

Bio-xLSTM は xLSTM アーキテクチャを DNA、タンパク質、SMILES に合わせて調整し、長文脈の生成モデル化、豊かな表現、および線形実行時間のシーケンスモデリングによる文脈内学習を可能にします。

ABSTRACT

Language models for biological and chemical sequences enable crucial applications such as drug discovery, protein engineering, and precision medicine. Currently, these language models are predominantly based on Transformer architectures. While Transformers have yielded impressive results, their quadratic runtime dependency on the sequence length complicates their use for long genomic sequences and in-context learning on proteins and chemical sequences. Recently, the recurrent xLSTM architecture has been shown to perform favorably compared to Transformers and modern state-space model (SSM) architectures in the natural language domain. Similar to SSMs, xLSTMs have a linear runtime dependency on the sequence length and allow for constant-memory decoding at inference time, which makes them prime candidates for modeling long-range dependencies in biological and chemical sequences. In this work, we tailor xLSTM towards these domains and propose a suite of architectural variants called Bio-xLSTM. Extensive experiments in three large domains, genomics, proteins, and chemistry, were performed to assess xLSTM's ability to model biological and chemical sequences. The results show that models based on Bio-xLSTM a) can serve as proficient generative models for DNA, protein, and chemical sequences, b) learn rich representations for those modalities, and c) can perform in-context learning for proteins and small molecules.

研究の動機と目的

  • Transformer ベースのアーキテクチャを超える生物学的および化学的シーケンスの長文脈言語モデルの動機づけと開発。
  • xLSTM をドメイン特化バリアント（DNA-xLSTM、Prot-xLSTM、Chem-xLSTM）へ適用し、生成、インペインティング、ICL を可能にする。
  • ゲノミクス、タンパク質、化学シーケンス課題における Bio-xLSTM を評価し、最先端ベースラインと比較する。
  • DNA に対する RC 等価性を実証し、分類および設計タスクでの下流性能を評価する。
  • ファインチューニングなしの文脈内学習能力とドメイン条件付き生成を示す。

提案手法

  • 生物学的および化学的配列に適合させた sLSTM および mLSTM ブロックを組み込んで xLSTM を拡張する。
  • 長距離依存性のためのコンテキスト窓と RoPE を用いた DNA-xLSTM、Prot-xLSTM、Chem-xLSTM の3つのドメイン特化バリアントを開発する。
  • 因果言語モデリング(CLМ)、マスクド言語モデリング(MLM)、中間埋め(FIM)、文脈内学習(ICL) のモデリングモードを実装する。
  • 後処理結合(PH) または パラメータ共有(PS) による reverse-complement(RC) 等価性を組み込む。
  • ヒトゲノム上で RC 等価変種を用いて DNA-xLSTM を訓練し、HyenaDNA、Mamba、DNA-Mamba、Transformers と比較する。
  • FIM を用い、未整列ホモログに対して同源性認識を持つアラインメントフリー入力で Prot-xLSTM を訓練し、生成とバリアント適合度予測を評価する。
  • 無条件の SMILES 生成とドメイン条件付き ICL のために Chem-xLSTM を訓練し、SMILES 実現性を評価する。
  • RoPE を用いた長文脈機能と、タンパク質で最大262kトークン、DNAで最大32kトークンまでのコンテキストサイズを評価する。
Figure 1: Overview of Bio-xLSTM. Top left: xLSTM for natural language processing tasks. Top right: Considered modeling approaches for biological sequences: masked language modeling, equivariance to reverse complementary sequence, and in-context learning. Bottom left: DNA-xLSTM models are trained on
Figure 1: Overview of Bio-xLSTM. Top left: xLSTM for natural language processing tasks. Top right: Considered modeling approaches for biological sequences: masked language modeling, equivariance to reverse complementary sequence, and in-context learning. Bottom left: DNA-xLSTM models are trained on

実験結果

リサーチクエスチョン

  • RQ1Bio-xLSTM バリアントは線形のメモリスケーリングで長い生物学的および化学的シーケンスを効果的にモデル化できるか？
  • RQ2DNA-xLSTM、Prot-xLSTM、および Chem-xLSTM は、それぞれのタスクでドメイン特化型 Transformers や SSM ベースのモデルと競合する、または優れた性能を提供するか？
  • RQ3DNA モデリングと下流タスクにおいて RC 等価設計 (PH/PS) は有益か？
  • RQ4Prot-xLSTM は生成設計と残基レベル予測のためのホモログ条件付き文脈内学習を行えるか？
  • RQ5Chem-xLSTM はファインチューニングなしで分子生成のためのドメイン条件付き文脈内学習を可能にするか？

主な発見

TaskMetricHyenaDNAMamba-PS aMamba-PH axLSTM-PSxLSTM-PH
DNA downstream genomicsMCC0.779±0.0370.799±0.0290.815±0.0480.796±0.0140.824±0.010
DNA downstream genomicsMCC0.612±0.0650.541±0.2120.631±0.0260.570±0.0080.598±0.017
DNA downstream genomicsMCC0.613±0.0410.609±0.1090.625±0.1290.588±0.0190.625±0.010
DNA downstream genomicsMCC0.512±0.0240.488±0.1020.523±0.0390.490±0.0120.526±0.001
DNA downstream genomicsMCC0.455±0.0950.388±0.1010.487±0.1700.489±0.0240.504±0.012
DNA downstream genomicsMCC0.549±0.0560.440±0.2020.544±0.0450.520±0.0190.537±0.012
DNA downstream genomicsMCC0.581±0.0610.604±0.0480.622±0.0300.622±0.0130.627±0.008
DNA downstream genomicsMCC0.763±0.0440.789±0.0200.811±0.0220.793±0.0110.813±0.008
DNA downstream genomicsMCC0.564±0.0380.525±0.2400.621±0.0540.558±0.0180.583±0.014
DNA downstream genomicsMCC0.517±0.1170.491±0.0660.546±0.0730.375±0.0300.545±0.024
DNA downstream genomicsMCC0.386±0.1850.416±0.0950.439±0.0540.444±0.0460.466±0.011
DNA downstream genomicsF1 (Promoter: All)0.960±0.0050.967±0.0040.970±0.0040.962±0.0020.967±0.001
DNA downstream genomicsF1 (NonTATA)0.959±0.0110.968±0.0060.968±0.0100.963±0.0020.970±0.001
DNA downstream genomicsF1 (TATA)0.944±0.0400.957±0.0150.953±0.0160.948±0.0060.952±0.005
DNA downstream genomicsAccuracy (Splice Site All)0.956±0.0110.927±0.0210.940±0.0270.965±0.0060.974±0.004
DNA downstream genomicsAccuracy (Donor)0.949±0.0240.874±0.2890.948±0.0250.962±0.0040.951±0.005
  • DNA-xLSTM は ヒトゲノムで 2M パラメータの CLM および MLM の事前学習で、Transformers、Mamba、HyenaDNA を上回る。
  • DNA-xLSTM-2M (PH/PS) は 18 件中 12 件の下流ゲノム分類タスクでベースラインと同等以上を、2M 未満のパラメータで達成。
  • Prot-xLSTM-102M は ホモログ条件付きのタンパク質生成で優れた perplexity と生成品質を達成し、長い文脈で特に ProtMamba および Transformer++ のベースラインを上回る。
  • Prot-xLSTM-102M は 合計訓練トークン数が fewer だが ProtMamba-107M を上回り、長文脈学習の効率性を示す。
  • Chem-xLSTM は無条件の SMILES 生成で最も低い Fréchet ChemNet Distance(FCD) を達成し、また perplexity も競争力があることから、現実的な化学出力を示す。
Figure 2: Pre-training of 2M-parameter DNA models on the human reference genome (GRCh38). Models are trained at single-nucleotide resolution with a context length of 1024 bases. Left: causal language modeling . Learning curves display NTP loss ( $\downarrow$ ) on a test set, plotted against the numb
Figure 2: Pre-training of 2M-parameter DNA models on the human reference genome (GRCh38). Models are trained at single-nucleotide resolution with a context length of 1024 bases. Left: causal language modeling . Learning curves display NTP loss ( $\downarrow$ ) on a test set, plotted against the numb

より良い研究を、今すぐ始めましょう

論文設計から論文執筆まで、研究時間を劇的に削減しましょう。

クレジットカード登録不要

このレビューはAIが作成し、人間の編集者が確認しました。