[论文解读] Cell-JEPA: Latent Representation Learning for Single-Cell Transcriptomics

Ali ElSheikh, Rui-Xi Wang+10 more|arXiv (Cornell University)|Feb 2, 2026

Single-cell and spatial transcriptomics被引用 0

一句话总结

Cell-JEPA 引入一个联合嵌入预测架构，通过从屏蔽的学生输入预测教师嵌入来学习稳健的潜在细胞表征，从而提升零-shot 细胞类型聚类和下游任务，超越基于重建的基线。

ABSTRACT

Single-cell foundation models learn by reconstructing masked gene expression, implicitly treating technical noise as signal. With dropout rates exceeding 90%, reconstruction objectives encourage models to encode measurement artifacts rather than stable cellular programs. We introduce Cell-JEPA, a joint-embedding predictive architecture that shifts learning from reconstructing sparse counts to predicting in latent space. The key insight is that cell identity is redundantly encoded across genes. We show predicting cell-level embeddings from partial observations forces the model to learn dropout-robust features. On cell-type clustering, Cell-JEPA achieves 0.72 AvgBIO in zero-shot transfer versus 0.53 for scGPT, a 36% relative improvement. On perturbation prediction within a single cell line, Cell-JEPA improves absolute-state reconstruction but not effect-size estimation, suggesting that representation learning and perturbation modeling address complementary aspects of cellular prediction.

研究动机与目标

• 从高度稀疏且嘈杂的单细胞数据中推动学习稳健的细胞表征。
• 提出一个 JEPA 风格的潜在空间预测目标，作为重建基线的补充。
• 在大规模的人肾单细胞语料库上进行预训练，以学习一个具有泛化能力的基础模型。
• 在细胞类型聚类（微调与零-shot）和扰动反应预测上进行评估。

提出的方法

• 采用基于 scGPT tile 的学生–教师 Transformer 架构。
• 对表达值进行屏蔽，让学生预测由慢 EMA 教师产生的潜在表示。
• 使用一个联合预训练目标进行训练：基因层面重建损失和 JEPA 潜在空间预测损失。
• JEPA 损失通过余弦相似度目标将学生的被屏蔽嵌入与教师的嵌入对齐。
• 下游微调结合 GEP、GEPC、ECS 和 JEPA 损失，以实现对细胞状态的鲁棒建模。
• 可选地通过扰动嵌入和带扰动的 JEPA 目标扩展微调，以实现扰动预测。

Figure 1 : Overview of the Cell-JEPA Pipeline. Raw biological cells undergo single-cell RNA sequencing to generate high-dimensional, sparse gene expression profiles. The profiles are passed through a joint embedding architecture, where a student encoder receives masked inputs and predicts the stable

实验结果

研究问题

• RQ1 潜在空间的 JEPA 目标是否能在超越重建损失的情况下提高单细胞表示的迁移能力？
• RQ2 在有限样本和零-shot 设置下，Cell-JEPA 相对于 scGPT 在细胞类型聚类上的表现如何？
• RQ3 在固定的细胞背景下，潜在空间表征是否能改善扰动反应预测？
• RQ4 JEPA 目标对在 scRNA-seq 数据的 dropout 与稀疏性下嵌入鲁棒性的影响是什么？

主要发现

• 在 PBMC-10K 上微调后，Cell-JEPA 在 AvgBIO、NMI_cell、ASW_cell、ARI_cell 的聚类质量均高于 scGPT（0.7830 对 0.7531；0.7761 对 0.7652；0.7256 对 0.7100；0.8472 对 0.7842）。
• 在零-shot PBMC 评估中，Cell-JEPA 在 AvgBIO、NMI_cell、ASW_cell、ARI_cell 上均优于 scGPT（0.7194 对 0.5288；0.7690 对 0.5585；0.5811 对 0.5329；0.8081 对 0.4951）。
• Cell-JEPA 在零-shot 细胞类型聚类方面相对于 scGPT 取得了显著的相对改善（约 36%）。
• 在 K562 Perturb-seq 数据集中，Cell-JEPA 在扰动预测的绝对预测状态方面优于 scGPT（例如 Norman pear 0.787 对 0.631； Adamson pear 0.937 对 0.905）。
• 基于 Delta 的度量在未见扰动上的增益有限，且在某些情况下性能下降，表明绝对状态保真度与扰动效应大小估计之间存在权衡。

Figure 2 : Cell-JEPA Model Architecture and Training Pipeline. Cell-JEPA builds on scGPT with a student–teacher transformer architecture. Gene identities and discretized expression values are embedded and summed to form input token embeddings. The student encoder processes masked inputs, while the t