[論文レビュー] Multi-modal Self-supervised Pre-training for Regulatory Genome Across Cell Types

Shentong Mo, Xi Fu+7 more|arXiv (Cornell University)|Oct 11, 2021

Genomics and Phylogenetic Studies参考文献 31被引用数 14

ひとこと要約

本稿では、細胞系に跨る1次元DNA配列と2次元転写因子-領域相互作用行列を統合的にモデル化する、自己教師ありマルチモーダル事前学習フレームワークGeneBERTを提案する。マスクゲノムモデリング、次のゲノムセグメント予測、およびシーケンス-領域マッチングを活用することで、GeneBERTはプロモーター分類、転写因子結合部位予測、疾患リスク推定の各タスクで最先端の性能を達成し、未学習の細胞系への一般化性能が向上した。

ABSTRACT

In the genome biology research, regulatory genome modeling is an important topic for many regulatory downstream tasks, such as promoter classification, transaction factor binding sites prediction. The core problem is to model how regulatory elements interact with each other and its variability across different cell types. However, current deep learning methods often focus on modeling genome sequences of a fixed set of cell types and do not account for the interaction between multiple regulatory elements, making them only perform well on the cell types in the training set and lack the generalizability required in biological applications. In this work, we propose a simple yet effective approach for pre-training genome data in a multi-modal and self-supervised manner, which we call GeneBERT. Specifically, we simultaneously take the 1d sequence of genome data and a 2d matrix of (transcription factors x regions) as the input, where three pre-training tasks are proposed to improve the robustness and generalizability of our model. We pre-train our model on the ATAC-seq dataset with 17 million genome sequences. We evaluate our GeneBERT on regulatory downstream tasks across different cell types, including promoter classification, transaction factor binding sites prediction, disease risk estimation, and splicing sites prediction. Extensive experiments demonstrate the effectiveness of multi-modal and self-supervised pre-training for large-scale regulatory genomics data.

研究の動機と目的

• 異なる細胞系に跨る深層学習モデルの一般化能力の欠如に対処すること。
• 既存の教師ありおよび単一モーダル事前学習手法の限界を克服し、細胞系特異的な調節的相互作用を捉えること。
• DNA配列と転写因子結合データを統合する自己教師ありマルチモーダル事前学習フレームワークを構築し、表現学習を向上させること。
• 多様な細胞系に跨る多様な調節的タスク（プロモーター分類、疾患リスク予測など）において、堅牢な下流タスク性能を実現すること。

提案手法

• 3つの自己教師ありタスク（マスクk-mer予測、連続するシーケンスペアの分類、シーケンスと調節的領域のアラインメント）を用いてGeneBERTを事前学習する。
• 1次元ゲノム配列（k-mer）と調節的領域における転写因子結合の2次元マトリクスを、マルチモーダル入力として統合する。
• Swin変換器バックボーンを用いて2次元調節的領域マトリクスを符号化し、転写因子活性の空間的パターンからの有効な特徴抽出を可能にする。
• 1700万件のATAC-seqシーケンスを用いて、シーケンス-領域マッチングによる対照的学習を活用して、17の異なる細胞系からなるデータセット上でモデルをエンドツーエンドで学習する。
• マスク言語モデリング、対照的予測、シーケンス-領域アラインメントを組み合わせたマルチタスク損失を最適化し、学習可能なハイパーパrameter λ を用いる。
• プロモーター分類、転写因子結合予測、スプライシング部位検出などの下流調節的タスクにおいて、事前学習済みのGeneBERTを微調整する。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダル自己教師あり事前学習は、未学習の細胞系に跨る調節ゲノムモデルの一般化を向上させ得るか？
• RQ2 2次元調節的領域データ（転写因子結合マトリクス）を統合することで、シーケンスのみのモデルに比べて表現学習がどのように向上するか？
• RQ3 異なる2次元変換器アーキテクチャ（例：ViT、DeiT、Swin）が、マルチモーダルゲノム表現学習のパフォーマンスに与える影響は何か？
• RQ4 バッチサイズや損失重み付け（λ）などのハイパーパrameterが、マルチモーダル事前学習目的の安定性とパフォーマンスに与える影響は何か？
• RQ5 GeneBERTは、DNABERT や Enformer などの既存モデルに比べて、多様な細胞系に跨る下流の調節ゲノムタスクでどの程度優れているか？

主な発見

• Swin-B-384バックボーンを搭載したGeneBERTは、プロモーター分類タスクで最高のパフォーマンスを示し、精度82.4%、再現率82.6%、AUC 91.9%を達成した。
• バッチサイズを16から512に増加させることで、AUCが73.3%から90.8%に向上し、対照的学習におけるより多くのネガティブサンプルの恩恵が示された。
• 損失重み付けハイパーパrameter λ を 0.5 に設定した場合、シーケンス-領域マッチングタスクで最も安定的かつ最適なパフォーマンス（AUC 89.4%）が得られた。
• モデルの表現は、細胞系クラスタ内でのクラスタ内距離が顕著に小さく、細胞系特異的表現学習の向上が確認された。
• アブレーションスタディにより、マスクゲノムモデリング、次のセグメント予測、シーケンス-領域マッチングの3つの事前学習タスクすべてが、下流タスクのパフォーマンス向上に寄与していることが確認された。
• GeneBERTは、多様な細胞系に跨る全評価タスク（転写因子結合部位予測、疾患リスク推定、スプライシング部位検出）において、ベースラインモデルを上回った。