[論文レビュー] DNABERT-S: Pioneering Species Differentiation with Species-Aware DNA Embeddings

Zhihan Zhou, Weimin Wu+6 more|PubMed|Feb 13, 2024

Genomics and Phylogenetic Studies参考文献 9被引用数 11

ひとこと要約

DNABERT-S は、Curriculum Contrastive Learning と Manifold Instance Mixup を用いて species-aware DNA embeddings を学習し、クラスタリング、少数ショット分類、およびメタゲノミクス・ビニングを多様なデータセットで著しく改善します。

ABSTRACT

We introduce DNABERT-S, a tailored genome model that develops species-aware embeddings to naturally cluster and segregate DNA sequences of different species in the embedding space. Differentiating species from genomic sequences (i.e., DNA and RNA) is vital yet challenging, since many real-world species remain uncharacterized, lacking known genomes for reference. Embedding-based methods are therefore used to differentiate species in an unsupervised manner. DNABERT-S builds upon a pre-trained genome foundation model named DNABERT-2. To encourage effective embeddings to error-prone long-read DNA sequences, we introduce Manifold Instance Mixup (MI-Mix), a contrastive objective that mixes the hidden representations of DNA sequences at randomly selected layers and trains the model to recognize and differentiate these mixed proportions at the output layer. We further enhance it with the proposed Curriculum Contrastive Learning (C²LR) strategy. Empirical results on 23 diverse datasets show DNABERT-S's effectiveness, especially in realistic label-scarce scenarios. For example, it identifies twice more species from a mixture of unlabeled genomic sequences, doubles the Adjusted Rand Index (ARI) in species clustering, and outperforms the top baseline's performance in 10-shot species classification with just a 2-shot training. Model, codes, and data is publicly available at https://github.com/MAGlCS-LAB/DNABERT_S.

研究の動機と目的

• ラベルが少ない・または無標識の設定における species-aware タスクのための効果的な DNA 埋め込みの欠如に対処する。
• 多くの種にわたる DNA 配列の差別的な埋め込みを提供するゲノム基盤モデルを開発する。
• 埋め込み品質を改善するための二つのトレーニング技術—Curriculum Contrastive Learning（C2LR）と Manifold Instance Mixup（MI-Mix）—を導入する。
• 大規模なメタゲノミクスとクラスタリングのベンチマークで評価し、ベースラインに対する改善を示す。

提案手法

• 二段階の対比学習：フェーズ I は Weighted SimCLR を用いて類似配列のグルーピングを促進し、非類似配列を分離する；フェーズ II は Manifold Instance Mixup（MI-Mix）を適用して中間表現を混合し、より難しい対比アンカーを作成する。
• MI-Mix はランダムに隠れ層を選択し、アンカー配列の中間表現を混合し、混合ラベルを用いて対比損失を計算する。
• Curriculum 戦略はアンカーとサンプルの難易度を段階的に高め、低ラベル環境での一般化を強化する。
• DNABERT-S は事前学習済みの DNABERT-2 を出発点とし、対比目的でファインチューニングする；埋め込みとして平均プーリングされた最上位隠れ状態を使用する。

Figure 1: TSNE visualization of the DNA embeddings generated by different methods on a CAMI2 [Meyer et al., 2022 ] dataset with $50$ different species. Each point represents an individual DNA sequence, with the color coding indicating the species affiliation. Notably, DNABERT-S demonstrates a pronou

実験結果

リサーチクエスチョン

• RQ1 DNABERT-S は、豊富なラベルデータなしで、種ごとにクラスタリングする埋め込みを生成できるか。
• RQ2 Curriculum Contrastive Learning と Manifold Instance Mixup は、クラスタリング、分類（少数ショット）、およびメタゲノミクス・ビニングの性能にどのような影響を与えるか。
• RQ3 DNABERT-S は、クラスタリング、限定ラベルでの分類、およびビニングタスクにおいて、既存のゲノム基盤モデルや従来の埋め込み手法を上回るか。
• RQ4 分類における未知の種や合成データセットに対する DNABERT-S の一般化はどうなるか。

主な発見

• DNABERT-S は評価されたデータセット全体で一貫して最良のクラスタリング性能（ARI）を達成し、最も強力なベースラインの ARI を平均で倍増させる。
• 分類において、DNABERT-S はラベル付きデータがわずか 20% でも、より多くのラベルを持つベースラインより良い性能を発現し、いくつかの合成設定では少数の例で高い F1 を達成する。
• メタゲノミクス・ビニングでは、DNABERT-S はより多くの種を同定し、複数のデータセットでベースラインを大きく上回る F1 スコアを達成する。
• アブレーション研究は、C2LR の下で Weighted SimCLR と MI-Mix の組み合わせが最良の性能を示し、MI-Mix は単一損失ベースラインに比べて顕著な利益を提供することを示している。
• 未知の種へ対する強い一般化能力を示し、監督が限られた合成データセットで頑健な分類結果を得る。

Figure 2: Overview of DNABERT-S’s training process. We construct training data from massive reference genomes and train DNABERT-S with the proposed Curriculum Contrastive Learning (C 2 LR) strategy that progressively provides more challenging contrastive anchors to the model in two different phases.