[论文解读] Benchmarking Transcriptomics Foundation Models for Perturbation Analysis : one PCA still rules them all

Ihab Bendidi, Shawn Whitfield+5 more|arXiv (Cornell University)|Oct 17, 2024

RNA Research and Splicing被引用 8

一句话总结

本论文在公开数据集上对转录组学基础模型在扰动分析任务上的表现进行基准评估，发现 scVI 和 PCA 通常优于基础模型，并引入 Structural Integrity 作为新的评估指标。

ABSTRACT

Understanding the relationships among genes, compounds, and their interactions in living organisms remains limited due to technological constraints and the complexity of biological data. Deep learning has shown promise in exploring these relationships using various data types. However, transcriptomics, which provides detailed insights into cellular states, is still underused due to its high noise levels and limited data availability. Recent advancements in transcriptomics sequencing provide new opportunities to uncover valuable insights, especially with the rise of many new foundation models for transcriptomics, yet no benchmark has been made to robustly evaluate the effectiveness of these rising models for perturbation analysis. This article presents a novel biologically motivated evaluation framework and a hierarchy of perturbation analysis tasks for comparing the performance of pretrained foundation models to each other and to more classical techniques of learning from transcriptomics data. We compile diverse public datasets from different sequencing techniques and cell lines to assess models performance. Our approach identifies scVI and PCA to be far better suited models for understanding biological perturbations in comparison to existing foundation models, especially in their application in real-world scenarios.

研究动机与目标

• 为转录组学中的扰动分析提供一个以生物学为基础的基准。
• 将预训练的转录组学基础模型与经典方法在扰动任务上进行比较。
• 识别在不同数据集和技术中，哪些模型能最好地捕捉扰动信号。
• 引入 Structural Integrity 作为保留基因活性结构的新评估指标。

提出的方法

• 整理来自三种测序技术和多种细胞系的多样化公开扰动数据集。
• 定义一个分层评估框架，指标包括：iLISI 批次整合、潜在变量分离性（线性探针）、扰动一致性、局部潜在结构（kNN）、零样本已知关系回忆，以及重建可解释性。
• 提出 Structural Integrity，一种基于归一化的度量，使用居中对数表达和 Frobenius 距离来量化批次内扰动结构的保持程度。
• 对模型输出应用后处理（基于控制的居中、TVN，或原始嵌入），并为每个模型-任务选择表现最佳的方法。
• 在任务之间将基线 PCA 和 scVI 与 Geneformer、scGPT、CellPLM 和 UCE 等基础模型进行对比基准。
• 提供完整结果和代码（Tx-Evaluation）以便可重复性。

Figure 1: Known biological relationship recall scores for (Replogle et al., 2022 ) and L1000 Assay for scVI, trained using different gene distributions. Different datasets and sequencing approaches benefit from different gene distributions.

实验结果

研究问题

• RQ1 转录组学基础模型是否能推广至超出批量校正或分类的扰动分析任务？
• RQ2 哪些模型与后处理策略在多样化数据集和测序模态中能最好地捕获扰动效应？
• RQ3 基因分布假设如何影响模型在扰动任务上的表现？
• RQ4 像 PCA 或 scVI 这样的简单模型在以扰动为中心的基准测试中是否优于复杂的基础模型？
• RQ5 Structural Integrity 指标在评估扰动表征方面的实用性如何？

主要发现

• 相比 PCA 和 scVI，基础模型在扰动任务上的泛化能力不强，除了批次效应减少方面。
• scVI（从头训练或通过零-shot 转移）经常取得强大表现且具有可扩展性，超过许多基础模型。
• 基因分布（ZINB、NB、Poisson）对 scVI 的表现有实质性影响，并且依赖数据集（Replogle 与 L1000）。
• 在单细胞扰动情境中，scVI 即使在较少训练数据下也显示鲁棒学习，并且随着数据增多而提升。
• 如 Geneformer 与 scGPT 这样的基础模型主要在批次效应减少上表现出色，在生物学意义的扰动任务上表现乏力。
• Structural Integrity 是一个新指标，表示扰动关系在潜在基因活性空间中保持的程度。

Figure 2: Training scVI on different amounts of samples, using distinct batches and perturbations, before evaluating known biological relationship retrieval. scVI is robust to very low data regime, and shows strong data scaling laws on single cell data.