[논문 리뷰] scHyena: Foundation Model for Full-Length Single-Cell RNA-Seq Analysis in Brain

Gyutaek Oh, Baekgyu Choi외 2명|arXiv (Cornell University)|2023. 10. 04.

Single-cell and spatial transcriptomics인용 수 5

한 줄 요약

scHyena는 뇌 조직의 전장형 단세포 RNA-seq 분석을 위한 기초 모델로, 선형 어댑터와 유전자 임베딩을 갖춘 새로운 이방향 Hyena Transformer 아키텍처를 활용하여 차원 축소 없이 모든 유전자를 처리한다. 기존 방법보다 세포 유형 분류 및 scRNA-seq 보정에서 뛰어난 정확도를 달성하고 드롭아웃 이벤트 보정 오차를 감소시킨다.

ABSTRACT

Single-cell RNA sequencing (scRNA-seq) has made significant strides in unraveling the intricate cellular diversity within complex tissues. This is particularly critical in the brain, presenting a greater diversity of cell types than other tissue types, to gain a deeper understanding of brain function within various cellular contexts. However, analyzing scRNA-seq data remains a challenge due to inherent measurement noise stemming from dropout events and the limited utilization of extensive gene expression information. In this work, we introduce scHyena, a foundation model designed to address these challenges and enhance the accuracy of scRNA-seq analysis in the brain. Specifically, inspired by the recent Hyena operator, we design a novel Transformer architecture called singe-cell Hyena (scHyena) that is equipped with a linear adaptor layer, the positional encoding via gene-embedding, and a {bidirectional} Hyena operator. This enables us to process full-length scRNA-seq data without losing any information from the raw data. In particular, our model learns generalizable features of cells and genes through pre-training scHyena using the full length of scRNA-seq data. We demonstrate the superior performance of scHyena compared to other benchmark methods in downstream tasks, including cell type classification and scRNA-seq imputation.

연구 동기 및 목표

• 뇌 조직의 단세포 RNA-seq 분석에서 드롭아웃 이벤트 문제와 전체 유전자 발현 데이터의 제한된 활용을 해결하기 위해.
• 유전자 선택 또는 차원 축소 없이 전체 길이의 scRNA-seq 데이터를 처리할 수 있는 확장성 있고 효율적인 딥러닝 모델을 개발하기 위해.
• 전체 길이의 scRNA-seq 데이터를 기반으로 한 자기지도 사전학습을 통해 다양한 뇌 세포 유형 간의 일반화 가능한 특징 학습을 가능하게 하기 위해.
• 기초 모델 접근법을 통해 세포 유형 분류, 듀얼렛 탐지, 보정과 같은 후행 작업을 향상시키기 위해.
• 보정된 데이터에서 생물학적 신호를 유지하면서 배치 효과를 보정하는 강력하고 종단 간 솔루션을 제공하기 위해.

제안 방법

• 긴 유전자 발현 데이터 시퀀스를 효율적으로 처리하기 위해 이방향 Hyena 연산자를 통합한 새로운 Transformer 아키텍처인 scHyena 설계.
• 이산화 또는 토큰화 없이 연속적인 scRNA-seq 값을 직접 인코딩할 수 있도록 선형 어댑터 레이어 도입으로 전체 정보를 유지.
• 유전자 간 생물학적 순서와 관계를 모델링하기 위해 유전자 임베딩을 사용한 위치 인코딩.
• 전체 길이의 scRNA-seq 데이터를 대상으로 마스크된 발현 모델링을 통한 자기지도 사전학습으로 일반화 가능한 표현 학습.
• 작은 라벨된 데이터셋을 사용해 세포 유형 분류 및 보정과 같은 후행 작업에서 사전학습 모델을 미세조정.
• 원래의 인과적 Hyena 연산자를 비인과적, 이방향 버전으로 변형하여 유전자 발현 내 장거리 의존성을 포착.

실험 결과

연구 질문

• RQ1 Hyena 연산자를 기반으로 한 기초 모델이 유전자 선택 또는 차원 축소 없이 전장형 단세포 RNA-seq 데이터를 효과적으로 처리할 수 있는가?
• RQ2 scHyena는 기존 최상위 성능 모델보다 scRNA-seq 보정에서 진짜 비영제 표현 수준을 회복하는 데에서 뛰어나게 성능을 발휘하는가?
• RQ3 기본 모델 대비 scHyena가 세포 유형 분류 정확도를 어느 정도 향상시키는가?
• RQ4 scHyena는 생물학적 클러스터링을 유지하면서 scRNA-seq 데이터의 배치 효과를 효과적으로 보정할 수 있는가?
• RQ5 모델은 다양한 뇌 조직 데이터셋과 하위 집단 간에 얼마나 잘 일반화되는가?

주요 결과

• scHyena는 네 가지 뇌 조직 데이터셋에서 보정 작업에서 가장 낮은 평균제곱오차(MSE)와 가장 높은 피어슨 상관계수를 기록하여 MAGIC 및 DCA를 압도했다.
• 진짜 값 대 예측 값의 조인트 플롯에서 scHyena의 예측값은 y=x 선에 매우 가까이 위치하여 비영제 발현 수준을 정확하게 복원함을 나타냈다.
• UMAP 시각화 결과, scHyena로 보정된 데이터는 특히 다양한 배치 간 올리고덴드로사이트에 대해 가장 조밀하고 생물학적으로 일관된 클러스터를 형성했다.
• scHyena는 올리고덴드로사이트와 마이크로글리아에서 배치 효과를 크게 감소시켰으며, DCA는 잘못 보정되었고 MAGIC는 부분적으로만 보정되었다.
• scHyena는 모든 테스트 데이터셋과 하위군에서 일관된 성능 향상을 보이며 세포 유형 분류에서 뛰어난 성능을 보였다.
• 유전자 선택 또는 차원 축소 없이 전체 길이의 데이터를 처리함으로써 HVG 기반 방법에서 손실되는 중요한 생물학적 정보를 유지했다.