[論文レビュー] scHyena: Foundation Model for Full-Length Single-Cell RNA-Seq Analysis in Brain

Gyutaek Oh, Baekgyu Choi+2 more|arXiv (Cornell University)|Oct 4, 2023

Single-cell and spatial transcriptomics被引用数 5

ひとこと要約

scHyena は、全長の単一細胞 RNA-Seq データを処理するための基盤モデルであり、線形アダプターや遺伝子埋め込みを備えた新規の双方向ハイナ・トランスフォーマー構造を採用し、次元削減を伴わずに全遺伝子を処理する。ドロップアウトイベントの補完において優れた正確性と誤差低減を達成し、既存の手法を上回る細胞タイプ分類性能を示す。

ABSTRACT

Single-cell RNA sequencing (scRNA-seq) has made significant strides in unraveling the intricate cellular diversity within complex tissues. This is particularly critical in the brain, presenting a greater diversity of cell types than other tissue types, to gain a deeper understanding of brain function within various cellular contexts. However, analyzing scRNA-seq data remains a challenge due to inherent measurement noise stemming from dropout events and the limited utilization of extensive gene expression information. In this work, we introduce scHyena, a foundation model designed to address these challenges and enhance the accuracy of scRNA-seq analysis in the brain. Specifically, inspired by the recent Hyena operator, we design a novel Transformer architecture called singe-cell Hyena (scHyena) that is equipped with a linear adaptor layer, the positional encoding via gene-embedding, and a {bidirectional} Hyena operator. This enables us to process full-length scRNA-seq data without losing any information from the raw data. In particular, our model learns generalizable features of cells and genes through pre-training scHyena using the full length of scRNA-seq data. We demonstrate the superior performance of scHyena compared to other benchmark methods in downstream tasks, including cell type classification and scRNA-seq imputation.

研究の動機と目的

• 脳組織の単一細胞 RNA-Seq 分析におけるドロップアウトイベントの課題と、全遺伝子発現データの限られた活用を解決すること。
• 遺伝子選択や次元削減を伴わずに全長の scRNA-seq データを処理可能なスケーラブルで効率的なディープラーニングモデルの開発。
• 全長の scRNA-seq データを用いた自己教師付き事前学習により、多様な脳細胞タイプに一般化可能な特徴抽出を可能にすること。
• 基盤モデルアプローチを用いて、細胞タイプ分類、ダブルット検出、補完などの下流タスクを改善すること。
• バッチ効果を是正し、補完データに生物学的信号を保持する、包括的で堅牢なエンドツーエンドのソリューションを提供すること。

提案手法

• 長大な遺伝子発現データを効率的に処理できるように、双方向ハイナ演算子を組み込んだ新規トランスフォーマー構造、scHyena の設計。
• 離散化やトークン化を経由せずに連続的な scRNA-seq 値を直接符号化するための線形アダプター層の導入。
• 遺伝子の生物学的順序と関係性をモデル化するための遺伝子埋め込みによる位置エンコーディング。
• 全長の scRNA-seq データを用いたマスク発現モデリングによる自己教師付き事前学習で、一般化可能な表現を学習。
• 細胞タイプ分類や補完などの下流タスクで、より小さなラベル付きデータセットを用いて事前学習モデルのファインチューニング。
• 元々の因果的ハイナ演算子を、因果的でない双方向版に変更し、遺伝子発現における長距離依存関係を捉える。

実験結果

リサーチクエスチョン

• RQ1 ハイナ演算子に基づく基盤モデルは、遺伝子選択や次元削減を伴わずに、全長の単一細胞 RNA-Seq データを効果的に処理できるか？
• RQ2 scHyena は、特に真の非ゼロ発現値の回復において、既存の最先端手法を上回る性能を示すか？
• RQ3 ベースラインモデルと比較して、scHyena は細胞タイプ分類の正確性をどの程度向上させるか？
• RQ4 scHyena は、生物学的クラスタリングを保持しながら、scRNA-seq データのバッチ効果を効果的に是正できるか？
• RQ5 異なる脳組織データセットやサブポピュレーションにわたって、モデルの汎用性はどの程度高いか？

主な発見

• 4つの脳組織データセットにおいて、scHyena は MSE が最小で、ピアソン相関係数が最大となり、MAGIC や DCA を上回る補完性能を示した。
• 真値対補完値の散布図では、scHyena の予測値が y=x 線に非常に近づき、非ゼロ発現レベルの回復において高い正確性を示した。
• UMAP 視覚化では、scHyena が補完したデータが、特に異なるバッチに跨るオリゴデンドロサイトにおいて、最も密で生物学的に整合性の高いクラスタを形成した。
• オリゴデンドロサイトおよびマクロファージでは、DCA や MAGIC が不十分にバッチ効果を是正していたのに対し、scHyena は顕著にバッチ効果を低減した。
• 細胞タイプ分類において、scHyena は全テストデータセットおよびサブグループで一貫した性能向上を示した。
• 遺伝子選択や次元削減を伴わない全長データ処理により、HVGベース手法で失われる重要な生物学的情報を保持した。