[论文解读] LangCell: Language-Cell Pre-training for Cell Identity Understanding

Suyuan Zhao, Jiahuan Zhang+3 more|arXiv (Cornell University)|May 9, 2024

Cell Image Analysis Techniques被引用 4

一句话总结

LangCell 是首个将单细胞转录组数据与细胞身份的自然语言描述统一起来的语言-细胞预训练框架，采用多任务学习方法，联合预训练掩码基因建模、细胞-细胞对比学习以及细胞-文本对比学习与匹配。该框架在零样本、少样本及微调场景下对细胞身份理解任务均达到最先进性能，在多个基准测试中超越现有模型。

ABSTRACT

Cell identity encompasses various semantic aspects of a cell, including cell type, pathway information, disease information, and more, which are essential for biologists to gain insights into its biological characteristics. Understanding cell identity from the transcriptomic data, such as annotating cell types, has become an important task in bioinformatics. As these semantic aspects are determined by human experts, it is impossible for AI models to effectively carry out cell identity understanding tasks without the supervision signals provided by single-cell and label pairs. The single-cell pre-trained language models (PLMs) currently used for this task are trained only on a single modality, transcriptomics data, lack an understanding of cell identity knowledge. As a result, they have to be fine-tuned for downstream tasks and struggle when lacking labeled data with the desired semantic labels. To address this issue, we propose an innovative solution by constructing a unified representation of single-cell data and natural language during the pre-training phase, allowing the model to directly incorporate insights related to cell identity. More specifically, we introduce $ extbf{LangCell}$, the first $ extbf{Lang}$uage-$ extbf{Cell}$ pre-training framework. LangCell utilizes texts enriched with cell identity information to gain a profound comprehension of cross-modal knowledge. Results from experiments conducted on different benchmarks show that LangCell is the only single-cell PLM that can work effectively in zero-shot cell identity understanding scenarios, and also significantly outperforms existing models in few-shot and fine-tuning cell identity understanding scenarios.

研究动机与目标

• 解决单模态预训练语言模型在无标注数据情况下理解细胞身份的局限性。
• 将人类标注的细胞身份语义知识（如细胞类型、疾病和通路信息）整合到单细胞数据的表征学习中。
• 开发一个统一的跨模态框架，实现细胞身份任务的直接零样本推理。
• 减少下游任务（如细胞类型注释和批次整合）对昂贵且稀缺标注数据的依赖。
• 构建大规模高质量的细胞-文本数据集（scLibrary），包含 2750 万个条目，以支持联合预训练。

提出的方法

• 构建了 scLibrary，一个包含 2750 万个单细胞 RNA 测序条目与来自 OBO Foundry 的细胞身份相关自然语言描述的大型数据集。
• 设计了结合四项任务的多任务预训练目标：掩码基因建模（MGM）、细胞-细胞对比学习（C-C）、细胞-文本对比学习（C-T）和细胞-文本匹配（CTM）。
• 采用基于 Transformer 的架构，将单细胞 RNA 测序数据和文本描述联合编码到共享表征空间中。
• 使用掩码基因建模学习基因共表达模式，以提升转录组表征质量。
• 在细胞之间（C-C）和细胞与文本之间（C-T）应用对比学习，以对齐跨模态表征。
• 在有限标注数据上微调模型以执行下游任务，同时评估无需任何微调的零样本性能。

Figure 1 : (a). Plots of zero- and few-shot cell type annotation. The curve shows the average F 1 -scores on PBMC10K and PBMC3&68K, for two settings of LangCell and three of the best single-cell PLMs. (b). UMAP plot of embeddings for scRNA-seq data and descriptions of three similar cell types in PBM

实验结果

研究问题

• RQ1 预训练模型能否联合学习单细胞转录组数据与自然语言描述，以实现零样本细胞身份理解？
• RQ2 与单模态模型相比，联合语言-细胞预训练在细胞类型注释和批次整合任务上的性能提升程度如何？
• RQ3 在无标注微调数据的情况下，模型对新型细胞类型或疾病的一般化能力如何？
• RQ4 将人工整理的语义知识（如来自本体的语义信息）整合到预训练过程中会产生何种影响？
• RQ5 结合跨模态对比目标的多任务学习能否增强细胞身份任务的表征学习？

主要发现

• LangCell 在多个基准测试（包括 PBMC10K、PBMC3&68K、Zheng68K、macParland、Aizarani、Perirhinal Cortex 和 Tabula Sapiens）的零样本、少样本及全微调设置下均达到最先进性能。
• 它是首个能够实现有效零样本细胞类型注释的单细胞 PLM，在大多数情况下优于少样本基线模型。
• 在 Tabula Sapiens 数据集中，LangCell 在细胞-文本检索任务中表现强劲，对前 10 种细胞类型（包括巨噬细胞和 B 细胞）均实现了高召回率。
• 该模型在细胞类型注释任务中显著优于现有模型，尤其在标注数据稀缺的低数据场景下表现突出。
• 消融实验证实，所有四项预训练目标（MGM、C-C、C-T、CTM）均对性能提升有贡献，其中 C-T 和 CTM 对跨模态对齐尤为有效。
• LangCell 展现出对新型细胞类型和疾病的强泛化能力，表明其通过语义知识整合实现了强大的迁移学习能力。

Figure 2 : The schematic overview of LangCell. For each single-cell data containing a pair of scRNA-seq data and metadata: (1) During preprocessing, the scRNA-seq data is converted into a gene sequence arranged in descending order of relative expression levels, and a multi-perspective textual descri