[論文レビュー] Single Cells Are Spatial Tokens: Transformers for Spatial Transcriptomic Data Imputation

Hongzhi Wen, Wenzhuo Tang+8 more|arXiv (Cornell University)|Feb 6, 2023

Single-cell and spatial transcriptomics被引用数 8

ひとこと要約

SpaFormer は単一細胞を空間トークンとして扱い、トランスフォーマーエンコーダを用いて空間トランスクリプトミクスにおける欠測遺伝子発現を推定し、様々な空間的位置エンコーディングを活用します。

ABSTRACT

Spatially resolved transcriptomics brings exciting breakthroughs to single-cell analysis by providing physical locations along with gene expression. However, as a cost of the extremely high spatial resolution, the cellular level spatial transcriptomic data suffer significantly from missing values. While a standard solution is to perform imputation on the missing values, most existing methods either overlook spatial information or only incorporate localized spatial context without the ability to capture long-range spatial information. Using multi-head self-attention mechanisms and positional encoding, transformer models can readily grasp the relationship between tokens and encode location information. In this paper, by treating single cells as spatial tokens, we study how to leverage transformers to facilitate spatial tanscriptomics imputation. In particular, investigate the following two key questions: (1) $ extit{how to encode spatial information of cells in transformers}$, and (2) $ extit{ how to train a transformer for transcriptomic imputation}$. By answering these two questions, we present a transformer-based imputation framework, SpaFormer, for cellular-level spatial transcriptomic data. Extensive experiments demonstrate that SpaFormer outperforms existing state-of-the-art imputation algorithms on three large-scale datasets while maintaining superior computational efficiency.

研究の動機と目的

• 低捕捉効率のため欠測値が多い高解像度の空間トランスクリプトミクスにおける推定の改善という動機。
• 変換器（トランスフォーマー）において細胞の空間情報をどのようにエンコードして効果的な推定を行うかを調査。
• 相互細胞文脈を利用して正確な推定を行えるトランスフォーマーベースのオートエンコーダフレームワークを開発。
• 空間トランスクリプトミクスに合わせたマスク付き自己符号化（ masked autoencoding）を設計する bi-level masking 戦略を提案。
• この設定における空間的位置エンコーディングのベストプラクティスを比較・特定。

提案手法

• 細胞をトークンとして扱い、部分的に観測された X と空間座標 C から潜在表現を学習するトランスフォーマーエンコーダを適用。
• 空間的位置エンコーディングの4つのファミリー（パッチベース、座標ベース、グラフベース、モデルベース（SignNet and Cond PE））を探索して空間的関係を捉える。
• SpaFormer 内でオートエンコーダベースの推定モデル（ベーシック、ZINB、VAE）を一般化し、トランスフォーマーエンコーダとさまざまなデコーダを用いる。
• 空間トランスクリプトミクスに合わせてトークンと特徴を選択的にマスクする bi-level masking を導入し、文脈からの再構成を促進。
• 数千の細胞トークンを含む FOV に対して線形時間のアテンションを実現する効率的な Transformer 変種（Performer）を活用。

実験結果

リサーチクエスチョン

• RQ1 空間トランスクリプトミクスの欠測推定において細胞の空間情報をトランスフォーマーでどのように効果的にエンコードできるか？
• RQ2 欠測値がある状態でトランスフォーマーベースのモデルをどのように訓練してトランスクリプトミセーションを行うか？
• RQ3 細胞レベルの空間トランスクリプトミクスにおける空間的位置エンコーディングの最適な選択肢は何か、どのように比較されるべきか？
• RQ4 SpaFormer 内で一般化されたオートエンコーダフレームワーク（VAE および ZINB 変種を含む）を推定のために効果的に実装できるか？
• RQ5 bi-level masking 戦略は空間トランスクリプトミクスの推定性能を改善するか？

主な発見

• SpaFormer は3つの大規模な細胞レベルの空間トランスクリプトミクスデータセットで卓越した推定性能を達成（正確な数値は提供されていない）。
• 細胞をトークンとして扱い、トランスフォーマーエンコーダを用いて長距離の細胞間関係をモデル化する有効性を示す。
• パッチベース、座標ベース、グラフベース、モデルベースなど、複数の空間的位置エンコーディング戦略を組み込むことが可能で、並進不変性や距離認識といった性質のトレードオフを示す。
• 統一された SpaFormer フレームワーク内でオートエンコーダベースの推定モデル（ベーシック、ZINBベース、VAEs）を一般化。
• 空間トランスクリプトミクスの推定タスクに適したように、トークンと特徴を選択的にマスクする bi-level masking 戦略を導入。
• Performer 変種を活用して線形時間のアテンションを実現し、FOV あたり数千の細胞をスケーラブルに処理。