[논문 리뷰] Cell-JEPA: Latent Representation Learning for Single-Cell Transcriptomics

Ali ElSheikh, Rui-Xi Wang외 10명|arXiv (Cornell University)|2026. 02. 02.

Single-cell and spatial transcriptomics인용 수 0

한 줄 요약

Cell-JEPA는 마스킹된 학생 입력으로부터 교사 임베딩을 예측하여 강건한 잠재 셀 표현을 학습하는 공동 임베딩 예측 아키텍처를 소개합니다. 재구성 기반 베이스라인을 넘어 제로샷 셀타입 클러스터링 및 다운스트림 작업을 개선합니다.

ABSTRACT

Single-cell foundation models learn by reconstructing masked gene expression, implicitly treating technical noise as signal. With dropout rates exceeding 90%, reconstruction objectives encourage models to encode measurement artifacts rather than stable cellular programs. We introduce Cell-JEPA, a joint-embedding predictive architecture that shifts learning from reconstructing sparse counts to predicting in latent space. The key insight is that cell identity is redundantly encoded across genes. We show predicting cell-level embeddings from partial observations forces the model to learn dropout-robust features. On cell-type clustering, Cell-JEPA achieves 0.72 AvgBIO in zero-shot transfer versus 0.53 for scGPT, a 36% relative improvement. On perturbation prediction within a single cell line, Cell-JEPA improves absolute-state reconstruction but not effect-size estimation, suggesting that representation learning and perturbation modeling address complementary aspects of cellular prediction.

연구 동기 및 목표

• 매우 희소하고 노이즈가 많은 단일세포 데이터에서 강건한 세포 표현을 학습하도록 동기를 부여합니다.
• 재구성 베이스라인에 JEPA 스타일의 잠재 공간 예측 objective를 제안합니다.
• 일반화 가능한 기초 모델을 학습하기 위해 대규모 인간 신장 단일세포 말뭉치에서 사전 학습합니다.
• 세포 유형 군집화(미세조정 및 제로샷) 및 perturbation 응답 예측에 대해 평가합니다.

제안 방법

• scGPT 타일 위에 구축된 학생-교사 Transformer 아키텍처를 채택합니다.
• 발현 값을 마스킹하고 학생이 느린 EMA 교사가 생성한 잠재 표현을 예측하도록 학습합니다.
• 유전자 수준 재구성 손실과 JEPA 잠재 공간 예측 손실을 결합한 공동 사전 학습 objective로 학습합니다.
• JEPA 손실은 코사인 유사도 목표를 통해 학생의 마스킹 임베딩을 교사의 임베딩과 정렬합니다.
• 다운스트림 미세조정은 robust cell-state modeling을 위해 GEP, GEPC, ECS, 그리고 JEPA 손실을 결합합니다.
• 선택적으로 perturbation 임베딩과 교란된 JEPA objective를 사용한 perturbation 예측으로 미세조정을 확장합니다.

Figure 1 : Overview of the Cell-JEPA Pipeline. Raw biological cells undergo single-cell RNA sequencing to generate high-dimensional, sparse gene expression profiles. The profiles are passed through a joint embedding architecture, where a student encoder receives masked inputs and predicts the stable

실험 결과

연구 질문

• RQ1 잠재 공간 JEPA objective가 재구성 손실을 넘어서 단일세포 표현의 전달 가능성을 향상시킬 수 있습니까?
• RQ2 Cell-JEPA는 scGPT와 비교하여 한정 샘플 및 제로샷 설정에서 세포 유형 클러스터링 성능이 어떠합니까?
• RQ3 잠재 공간 표현이 고정된 세포 맥락에서 perturbation-응답 예측을 개선합니까?
• RQ4 JEPA objective가 scRNA-seq 데이터의 드롭아웃 및 희소성에 대한 임베딩 강건성에 어떤 영향을 미칩니까?

주요 결과

• Cell-JEPA는 PBMC-10K에 대한 미세조정 후 AvgBIO, NMI_cell, ASW_cell, ARI_cell에서 scGPT보다 더 높은 클러스터링 품질을 달성합니다(0.7830 대 0.7531; 0.7761 대 0.7652; 0.7256 대 0.7100; 0.8472 대 0.7842).
• 제로샷 PBMC 평가에서 Cell-JEPA는 AvgBIO, NMI_cell, ASW_cell, ARI_cell에서 scGPT를 능가합니다(0.7194 대 0.5288; 0.7690 대 0.5585; 0.5811 대 0.5329; 0.8081 대 0.4951).
• Cell-JEPA는 scGPT에 비해 제로샷 세포 유형 클러스터링에서 상당한 상대적 개선(~36%)을 보입니다.
• K562 Perturb-seq 데이터세트의 perturbation 예측에서 Cell-JEPA는 교차perturb 상태 예측을 향상시킵니다(예: Norman pear 0.787 대 0.631; Adamson pear 0.937 대 0.905).
• Delta 기반 지표는 한정된 이익을 보이며 일부 경우 보이지 않는 perturbation에서 성능이 감소하는 경향이 있어 절대 상태 충실도와 perturbation 효과 크기 추정 간의 트레이드오프를 시사합니다.

Figure 2 : Cell-JEPA Model Architecture and Training Pipeline. Cell-JEPA builds on scGPT with a student–teacher transformer architecture. Gene identities and discretized expression values are embedded and summed to form input token embeddings. The student encoder processes masked inputs, while the t