[논문 리뷰] Single Cells Are Spatial Tokens: Transformers for Spatial Transcriptomic Data Imputation

Hongzhi Wen, Wenzhuo Tang외 8명|arXiv (Cornell University)|2023. 02. 06.

Single-cell and spatial transcriptomics인용 수 8

한 줄 요약

SpaFormer는 단일 세포를 공간 토큰으로 간주하고 변환기 인코더를 사용해 공간 전사체 데이터에서 누락된 유전자 발현을 보간하며, 다양한 공간 위치 인코딩을 활용합니다.

ABSTRACT

Spatially resolved transcriptomics brings exciting breakthroughs to single-cell analysis by providing physical locations along with gene expression. However, as a cost of the extremely high spatial resolution, the cellular level spatial transcriptomic data suffer significantly from missing values. While a standard solution is to perform imputation on the missing values, most existing methods either overlook spatial information or only incorporate localized spatial context without the ability to capture long-range spatial information. Using multi-head self-attention mechanisms and positional encoding, transformer models can readily grasp the relationship between tokens and encode location information. In this paper, by treating single cells as spatial tokens, we study how to leverage transformers to facilitate spatial tanscriptomics imputation. In particular, investigate the following two key questions: (1) $ extit{how to encode spatial information of cells in transformers}$, and (2) $ extit{ how to train a transformer for transcriptomic imputation}$. By answering these two questions, we present a transformer-based imputation framework, SpaFormer, for cellular-level spatial transcriptomic data. Extensive experiments demonstrate that SpaFormer outperforms existing state-of-the-art imputation algorithms on three large-scale datasets while maintaining superior computational efficiency.

연구 동기 및 목표

• 저포획 효율로 인해 누락 값이 자주 발생하는 고해상도 공간 전사체에서 보간을 개선하려는 동기.
• 효과적인 보간을 위해 트랜스포머에서 세포의 공간 정보를 인코딩하는 방법을 조사합니다.
• 정확한 보간을 위해 세포 간 맥락을 활용할 수 있는 트랜스포머 기반 오토인코더 프레임워크를 개발합니다.
• 공간 전사체에 맞게 마스킹된 자동인코딩을 조정하기 위한 이중 수준 마스킹 전략을 제안합니다.
• 이 설정에서의 공간 위치 인코딩에 대한 최선의 관행을 비교하고 식별합니다.

제안 방법

• 세포를 토큰으로 간주하고 부분적으로 관찰된 X와 공간 좌표 C로부터 잠재 표현을 학습하기 위해 트랜스포머 인코더를 적용합니다.
• 공간 위치 인코딩의 네 가지 계열(패치 기반, 좌표 기반, 그래프 기반, 모델 기반(SignNet 및 Cond PE))을 탐구하여 공간적 관계를 포착합니다.
• SpaFormer 내에서 오토인코더 기반 보간 모델(바닐라, ZINB, VAE)을 일반화하고, 트랜스포머 인코더와 다양한 디코더를 사용합니다.
• 맥스드 어코더를 위한 이중 수준 마스킹을 도입하여 토큰과 특징을 선택적으로 마스킹하고 맥락으로부터의 재구성을 촉진합니다.
• 수천 개의 세포 토큰을 포함하는 FOV에서 선형 시간 어텐션을 제공하는 효율적인 Transformer 변형(Performer)을 활용합니다.

실험 결과

연구 질문

• RQ1 트랜스포머에서 세포의 공간 정보를 효과적으로 인코딩하여 공간 전사체 보간을 수행하려면 어떻게 해야 합니까?
• RQ2 누락 값이 있는 상태에서 트랜스포머 기반 모델을 어떻게 학습시켜 전사체를 보간합니까?
• RQ3 세포 수준의 공간 전사체에서 공간 위치 인코딩의 최선의 선택은 무엇이며 어떻게 비교됩니까?
• RQ4 SpaFormer 내에서 보간을 위해 일반화된 오토인코더 프레임워크( VAE 및 ZINB 변형 포함)를 효과적으로 구현할 수 있습니까?
• RQ5 이중 수준 마스킹 전략이 공간 전사체 보간 성능을 향상시킵니까?

주요 결과

• SpaFormer가 세 가지 대규모 세포 수준의 공간 전사체 데이터 세트에서 뛰어난 보간 성능을 달성합니다(정확한 수치는 제공되지 않음).
• 세포를 토큰으로 간주하고 트랜스포머 인코더를 사용하여 세포 간 장거리 관계를 모델링하는 효과를 입증합니다.
• 패치 기반, 좌표 기반, 그래프 기반 및 모델 기반 인코딩을 포함한 다중 공간 위치 인코딩 전략을 도입할 수 있으며, 이동 불변성 및 거리 인식과 같은 특성의 균형을 제공합니다.
• 오토인코더 기반 보간 모델(바닐라, ZINB 기반, VAE)을 하나의 SpaFormer 프레임워크 내에서 일반화합니다.
• 세포 토큰과 특징을 선택적으로 마스킹하는 이중 수준 마스킹 전략을 도입하여 공간 전사체 보간 작업에 더 잘 맞춥니다.
• Performer 변형을 활용하여 선형 시간 어텐션을 달성하고, FOV당 수천 개의 세포를 확장 가능하게 처리합니다.