[论文解读] Multi-modal Self-supervised Pre-training for Regulatory Genome Across Cell Types

Shentong Mo, Xi Fu+7 more|arXiv (Cornell University)|Oct 11, 2021

Genomics and Phylogenetic Studies参考文献 31被引用 14

一句话总结

本文提出 GeneBERT，一种用于调控基因组学的多模态自监督预训练框架，能够联合建模跨细胞类型的1D DNA序列与2D转录因子-区域相互作用矩阵。通过利用掩码基因组建模、下一个基因组片段预测和序列-区域匹配，GeneBERT 在启动子分类、转录因子结合位点预测以及疾病风险估计任务上实现了最先进性能，并在未见细胞类型上表现出更强的泛化能力。

ABSTRACT

In the genome biology research, regulatory genome modeling is an important topic for many regulatory downstream tasks, such as promoter classification, transaction factor binding sites prediction. The core problem is to model how regulatory elements interact with each other and its variability across different cell types. However, current deep learning methods often focus on modeling genome sequences of a fixed set of cell types and do not account for the interaction between multiple regulatory elements, making them only perform well on the cell types in the training set and lack the generalizability required in biological applications. In this work, we propose a simple yet effective approach for pre-training genome data in a multi-modal and self-supervised manner, which we call GeneBERT. Specifically, we simultaneously take the 1d sequence of genome data and a 2d matrix of (transcription factors x regions) as the input, where three pre-training tasks are proposed to improve the robustness and generalizability of our model. We pre-train our model on the ATAC-seq dataset with 17 million genome sequences. We evaluate our GeneBERT on regulatory downstream tasks across different cell types, including promoter classification, transaction factor binding sites prediction, disease risk estimation, and splicing sites prediction. Extensive experiments demonstrate the effectiveness of multi-modal and self-supervised pre-training for large-scale regulatory genomics data.

研究动机与目标

• 解决深度学习模型在不同细胞类型间调控基因组学任务中泛化能力不足的问题。
• 克服现有监督学习与单模态预训练方法的局限性，这些方法无法捕捉细胞类型特异的调控互作。
• 开发一种自监督、多模态的预训练框架，整合DNA序列与转录因子结合数据，以提升表征学习能力。
• 实现在多种细胞类型上对多样化调控任务（如启动子分类与疾病风险预测）的稳健下游性能。

提出的方法

• 使用三种自监督任务对 GeneBERT 进行预训练：掩码基因组建模（预测被掩码的k-mer）、下一个基因组片段预测（分类连续的序列对）以及序列-区域匹配（将序列与调控区域对齐）。
• 将1D基因组序列（k-mer）与调控区域中转录因子结合的2D矩阵作为多模态输入。
• 采用Swin Transformer主干网络编码2D调控区域矩阵，以有效提取转录因子活性的空间模式特征。
• 在来自多种细胞类型的1700万条ATAC-seq序列上端到端训练模型，通过序列-区域匹配实现对比学习。
• 通过可学习超参数λ，联合优化包含掩码语言建模、对比预测与序列-区域对齐的多任务损失函数。
• 在下游调控任务（如启动子分类、转录因子结合位点预测与剪接位点检测）上微调预训练的GeneBERT。

实验结果

研究问题

• RQ1 多模态自监督预训练能否提升调控基因组模型在未见细胞类型上的泛化能力？
• RQ2 与仅使用序列的模型相比，整合2D调控区域数据（转录因子结合矩阵）如何增强表征学习？
• RQ3 不同2D Transformer架构（如ViT、DeiT、Swin）对多模态基因组表征学习性能有何影响？
• RQ4 学习率、批量大小与损失权重（λ）等超参数如何影响多模态预训练目标的稳定性与性能？
• RQ5 GeneBERT在多种细胞类型上对下游调控基因组学任务的性能是否显著优于现有模型（如DNABERT与Enformer）？

主要发现

• 采用Swin-B-384主干网络的GeneBERT在启动子分类任务中表现最佳，精确率为82.4%，召回率为82.6%，AUC为91.9%。
• 将批量大小从16增加到512，AUC从73.3%提升至90.8%，表明对比学习中更多负样本有助于性能提升。
• 将损失权重超参数λ设为0.5时，模型在序列-区域匹配任务中表现最稳定且最优，AUC达89.4%。
• 模型的表征在细胞类型聚类内部的簇内距离显著减小，证实了其在细胞类型特异性表征学习方面的改进。
• 消融实验证实，三种预训练任务——掩码基因组建模、下一个片段预测与序列-区域匹配——均对下游性能提升有贡献。
• 在多种细胞类型上，GeneBERT在所有评估任务中均优于基线模型，包括转录因子结合位点预测、疾病风险估计与剪接位点预测。