[論文レビュー] Cell-JEPA: Latent Representation Learning for Single-Cell Transcriptomics

Ali ElSheikh, Rui-Xi Wang+10 more|arXiv (Cornell University)|Feb 2, 2026

Single-cell and spatial transcriptomics被引用数 0

ひとこと要約

Cell-JEPA は、マスクされた学生入力から教師の埋め込みを予測することで堅牢な潜在セル表現を学習する共同埋め込み予測アーキテクチャを導入し、再構成ベースのベースラインを超えてゼロショットの細胞タイプクラスタリングと下流タスクを改善します。

ABSTRACT

Single-cell foundation models learn by reconstructing masked gene expression, implicitly treating technical noise as signal. With dropout rates exceeding 90%, reconstruction objectives encourage models to encode measurement artifacts rather than stable cellular programs. We introduce Cell-JEPA, a joint-embedding predictive architecture that shifts learning from reconstructing sparse counts to predicting in latent space. The key insight is that cell identity is redundantly encoded across genes. We show predicting cell-level embeddings from partial observations forces the model to learn dropout-robust features. On cell-type clustering, Cell-JEPA achieves 0.72 AvgBIO in zero-shot transfer versus 0.53 for scGPT, a 36% relative improvement. On perturbation prediction within a single cell line, Cell-JEPA improves absolute-state reconstruction but not effect-size estimation, suggesting that representation learning and perturbation modeling address complementary aspects of cellular prediction.

研究の動機と目的

• highly sparse でノイズの多い単一細胞データから堅牢な細胞表現を学習することを動機づける。
• 再構成ベースのベースラインにJEPA風の潜在空間予測目的を追加する。
• 一般化可能な基盤モデルを学習するために大規模なヒト腎細胞コーパスで事前学習する。
• 細胞タイプクラスタリング（微調整済みおよびゼロショット）と撹乱応答予測で評価する。

提案手法

• scGPT タイルを基盤とした学生-教師トランスフォーマーアーキテクチャを採用。
• 発現値をマスクし、学生が遅いEMA教師によって生成された潜在表現を予測するように訓練。
• 遺伝子レベルの再構成損失とJEPA 潜在空間予測損失を結合した事前学習 objectiveで訓練。
• JEPA 損失はコサイン類似度目的により学生のマスク embeddings を教師の embeddings と整合させる。
• 下流の微調整はGEP、GEPC、ECS、JEPA 損失を組み合わせて堅牢な細胞状態モデリングを行う。
• 任意で、攪乱埋め込みと攪乱された JEPA 目的を用いた撹乱予測で微調整を拡張する。

Figure 1 : Overview of the Cell-JEPA Pipeline. Raw biological cells undergo single-cell RNA sequencing to generate high-dimensional, sparse gene expression profiles. The profiles are passed through a joint embedding architecture, where a student encoder receives masked inputs and predicts the stable

実験結果

リサーチクエスチョン

• RQ1 潜在空間 JEPA 目的は再構成損失を超えて単一細胞表現の転送性を改善できるか。
• RQ2 細胞タイプクラスタリングを有限サンプルおよびゼロショット設定で scGPT と比較してどのようにCell-JEPAは性能を示すか。
• RQ3 潜在空間表現は固定された細胞コンテキスト内で撹乱応答予測を改善するか。
• RQ4 JEPA 目的が scRNA-seq データのドロップアウトとまばらさに対する埋め込みの頑健性に与える影響は何か。

主な発見

• Cell-JEPA は PBMC-10K のファインチューニング後、AvgBIO、NMI_cell、ASW_cell、ARI_cell のすべてで scGPT より高いクラスタリング品質を達成した（0.7830 対 0.7531; 0.7761 対 0.7652; 0.7256 対 0.7100; 0.8472 対 0.7842）。
• ゼロショット PBMC 評価では、Cell-JEPA は AvgBIO、NMI_cell、ASW_cell、ARI_cell で scGPT を上回る（0.7194 対 0.5288; 0.7690 対 0.5585; 0.5811 対 0.5329; 0.8081 対 0.4951）。
• Cell-JEPA はゼロショットの細胞タイプクラスタリングで scGPT に対して相対的に大きな改善を示す（約36%）。
• K562 Perturb-seq データセットで撹乱予測の絶対的な撹乱後状態予測を改善（例：Norman pear 0.787 対 0.631; Adamson pear 0.937 対 0.905）。
• デルタベースの指標は限られた改善しか示さず、見たことのない撹乱で性能が低下する場合があり、絶対状態の忠実度と撹乱効果サイズ推定の間にトレードオフがあることを示唆する。

Figure 2 : Cell-JEPA Model Architecture and Training Pipeline. Cell-JEPA builds on scGPT with a student–teacher transformer architecture. Gene identities and discretized expression values are embedded and summed to form input token embeddings. The student encoder processes masked inputs, while the t