[论文解读] GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models

Zicheng Liu, Jiahui Li+6 more|arXiv (Cornell University)|Jun 1, 2024

Cancer Genomics and Diagnostics被引用 4

一句话总结

GenBench 是一个全面且模块化的基准测试套件，旨在系统性地评估基因组基础模型（GFMs）在短程和长程基因组任务中的表现，涵盖编码区、非编码区以及基因组结构。结果表明，在短程任务中，基于注意力的模型优于基于卷积的模型；而在长程任务中，性能差距缩小，提示混合架构可能优化效率与表征能力。

ABSTRACT

The Genomic Foundation Model (GFM) paradigm is expected to facilitate the extraction of generalizable representations from massive genomic data, thereby enabling their application across a spectrum of downstream applications. Despite advancements, a lack of evaluation framework makes it difficult to ensure equitable assessment due to experimental settings, model intricacy, benchmark datasets, and reproducibility challenges. In the absence of standardization, comparative analyses risk becoming biased and unreliable. To surmount this impasse, we introduce GenBench, a comprehensive benchmarking suite specifically tailored for evaluating the efficacy of Genomic Foundation Models. GenBench offers a modular and expandable framework that encapsulates a variety of state-of-the-art methodologies. Through systematic evaluations of datasets spanning diverse biological domains with a particular emphasis on both short-range and long-range genomic tasks, firstly including the three most important DNA tasks covering Coding Region, Non-Coding Region, Genome Structure, etc. Moreover, We provide a nuanced analysis of the interplay between model architecture and dataset characteristics on task-specific performance. Our findings reveal an interesting observation: independent of the number of parameters, the discernible difference in preference between the attention-based and convolution-based models on short- and long-range tasks may provide insights into the future design of GFM.

研究动机与目标

• 为解决基因组基础模型（GFMs）缺乏标准化评估框架的问题，该问题因数据集、训练策略和模型复杂度不一致而阻碍了公平比较。
• 提供一个统一、模块化且可扩展的基准测试平台，支持多种 GFM 架构，并在多个生物尺度上实现真实基因组任务的评估。
• 研究模型架构（特别是注意力与卷积）对短程和长程基因组任务性能的影响。
• 实现在涵盖 43 种不同基因组任务的真实数据集上对 GFMs 进行系统性评估，包括启动子预测、基因聚类和物种分类等。
• 通过分析计算效率、表征质量与任务特定性能，为最优模型设计和预训练策略提供洞见。

提出的方法

• GenBench 整合了 43 个真实世界基因组数据集，覆盖三个核心领域：编码区、非编码区和基因组结构，以确保广泛的生物学相关性。
• 该基准测试在标准化的预训练和微调协议下，对十种最先进的 GFMs 进行评估，包括基于注意力的模型（如 DNABERT2、Nucleotide Transformer）和基于卷积的模型（如 HyenaDNA、Caduceus）。
• 通过实现一个模块化代码库，标准化数据预处理、分词和评估流程，确保在不同模型和任务之间实现公平且可复现的比较。
• 使用任务特定指标（如 AUC、准确率和 F1 分数）评估模型性能，并利用 t-SNE 可视化分析基因聚类和物种区分的模型学习嵌入表示。
• 通过在不同输入长度下估算 FLOPS 来评估计算效率，比较基于注意力和基于卷积架构的可扩展性。
• 该框架支持对预训练策略（包括 k-mer 和 BERT 基础分词）的系统性消融研究，以评估其对下游性能的影响。

实验结果

研究问题

• RQ1 在短程和长程基因组任务中，基于注意力与基于卷积的基因组基础模型在性能上如何比较？
• RQ2 输入序列长度在多大程度上影响模型性能，特别是在涉及扩展基因组上下文的任务中？
• RQ3 不同的预训练策略（如 k-mer 和 BERT 基础分词）如何影响基因组嵌入的生物学可解释性与下游准确率？
• RQ4 在基因组表征学习中，模型架构、计算成本（FLOPS）与表征质量之间存在何种关系？
• RQ5 结合注意力与卷积组件的混合架构能否在基因组基础模型中同时提升性能与效率？

主要发现

• 基于注意力的模型在短程任务（如启动子预测）中表现更优，因为此类任务需要捕捉局部核苷酸依赖关系。
• 基于卷积的模型在长程任务中表现与基于注意力的模型相当，且随着输入长度增加，性能差距逐渐缩小。
• Nucleotide Transformer（NT）在所有评估模型中实现了最高的物种分类准确率（0.761），表明其在跨物种差异区分方面具有强大的表征学习能力。
• 尽管不使用注意力机制，HyenaDNA 的准确率较低（0.655），且 t-SNE 聚类结果不够清晰，表明其在物种级别基因序列分离方面判别能力较弱。
• 计算成本分析显示，简单 CNN 的 FLOPS 最低，而基于注意力的模型在长序列长度下需要显著更多的计算资源。
• 结果表明，将卷积归纳偏置与注意力机制结合的混合架构，可能在基因组建模中实现性能与效率的最佳平衡。