[论文解读] Leveraging genomic deep learning models for the prediction of non-coding variant effects

Pooja Kathail, Ayesha Bajwa+1 more|arXiv (Cornell University)|Nov 17, 2024

Genetics, Bioinformatics, and Biomedical Research被引用 4

一句话总结

本文综述了基因组深度学习模型——特别是监督型序列到功能模型和自监督基因组语言模型——在预测非编码遗传变异功能效应方面的应用。文章强调了预训练模型可通过微调或探针分析用于变异效应预测，为人类遗传学中的数据、评估和下游应用提供了实用指导。

ABSTRACT

Characterizing non-coding variant function remains an important challenge in human genetics. Genomic deep learning models have emerged as a promising approach to enable in silico prediction of variant effects. These include supervised sequence-to-activity models, which predict molecular phenotypes such as genome-wide chromatin states or gene expression levels directly from DNA sequence, and self-supervised genomic language models. Here, we review progress in leveraging these models for non-coding variant effect prediction. We describe practical considerations for making such predictions and categorize the types of ground truth data used to evaluate variant effect predictions, providing insight into the settings in which current models are most useful. Our Review highlights key considerations for practitioners and opportunities for improvement in model development and evaluation.

研究动机与目标

• 评估基因组深度学习模型在预测GWAS中鉴定的非编码变异功能影响方面的实用性。
• 对用于评估基于深度学习的变异效应预测的基准数据进行分类与分析。
• 为通过微调或探针分析部署预训练模型以预测非编码变异效应提供实用指导。
• 识别在非编码变异解释中改进模型开发与评估的关键局限与机遇。
• 探索这些模型在理解疾病相关调控变异中的下游应用。

提出的方法

• 利用监督型序列到功能模型，直接从一位编码的DNA序列预测表观遗传组学输出（如染色质可及性、转录因子结合、基因表达）。
• 采用自监督基因组语言模型，通过掩码语言建模（MLM）或自回归语言建模（ALM）从原始序列中学习DNA序列表征，无需功能注释。
• 通过探针分析（在固定嵌入上训练线性头）或微调（更新嵌入和任务头）实现迁移学习，以适应预训练模型到变异效应预测任务。
• 在监督型模型中应用多任务学习，通过在相关调控功能间共享模型权重，提升跨细胞类型和检测方法的泛化能力。
• 利用多样化的基准数据评估模型性能，包括表达QTL、GWAS信号和功能实验，以验证预测结果。
• 比较模型在变异效应预测任务中零样本推理与微调后的性能，强调任务特定适配的重要性。

实验结果

研究问题

• RQ1 在未直接在变异效应数据上进行训练的情况下，预训练基因组深度学习模型在预测非编码变异功能影响方面的有效性如何？
• RQ2 哪些类型的基准数据最有助于评估基于深度学习的非编码变异效应预测的准确性？
• RQ3 在何种场景下，监督型序列到功能模型在变异效应预测中优于自监督基因组语言模型？
• RQ4 微调或探针分析如何提升预训练模型在下游变异效应预测任务中的性能？
• RQ5 在复杂疾病遗传学中开发与评估非编码变异解释模型时，面临哪些关键挑战与机遇？

主要发现

• 在功能基因组学数据（如ATAC-seq、ChIP-seq）上训练的监督型序列到功能模型可高精度预测变异效应，尤其在跨细胞类型使用多任务学习时表现更优。
• 自监督基因组语言模型虽具潜力，但其在变异效应预测上的零样本与微调性能仍需与监督型模型进行更系统的比较评估。
• 在表达QTL或GWAS信号等任务特定数据上对预训练模型进行微调，显著优于零样本推理，预测性能大幅提升。
• 探针分析——在固定嵌入上训练线性头——为全微调提供了数据高效的替代方案，尤其在标注变异数据有限时更具优势。
• 预训练任务的选择（如MLM与ALM）以及分词方案（如k-mer或字节对编码）显著影响模型性能与生物学相关性。
• 仍需开发更具生物学意义的预训练任务（如反向互补序列预测），以提升基因组语言模型的功能可解释性。