[논문 리뷰] ST-Align: A Multimodal Foundation Model for Image-Gene Alignment in Spatial Transcriptomics

Yuxiang Lin, Ling Luo외 6명|arXiv (Cornell University)|2024. 11. 25.

Single-cell and spatial transcriptomicsBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

ST-Align는 다중 척도에서 병리 영상과 유전자 발현 데이터를 정렬하는 다중모달 기초 모델로, 세 가지 목표 정렬 전략을 사용하여 공간 전사체학(spacial transcriptomics) 분야에서 처음으로 제안된 모델이다. 특수화된 인코더, 주의 기반 융합 네트워크(ABFN), 그리고 점과 니치 간의 대비 학습을 통합함으로써 여섯 개의 데이터셋에서 공간 클러스터링과 유전자 예측 작업에 대해 최신 기술 수준의 제로샷 및 패기샷 성능을 달성한다.

ABSTRACT

Spatial transcriptomics (ST) provides high-resolution pathological images and whole-transcriptomic expression profiles at individual spots across whole-slide scales. This setting makes it an ideal data source to develop multimodal foundation models. Although recent studies attempted to fine-tune visual encoders with trainable gene encoders based on spot-level, the absence of a wider slide perspective and spatial intrinsic relationships limits their ability to capture ST-specific insights effectively. Here, we introduce ST-Align, the first foundation model designed for ST that deeply aligns image-gene pairs by incorporating spatial context, effectively bridging pathological imaging with genomic features. We design a novel pretraining framework with a three-target alignment strategy for ST-Align, enabling (1) multi-scale alignment across image-gene pairs, capturing both spot- and niche-level contexts for a comprehensive perspective, and (2) cross-level alignment of multimodal insights, connecting localized cellular characteristics and broader tissue architecture. Additionally, ST-Align employs specialized encoders tailored to distinct ST contexts, followed by an Attention-Based Fusion Network (ABFN) for enhanced multimodal fusion, effectively merging domain-shared knowledge with ST-specific insights from both pathological and genomic data. We pre-trained ST-Align on 1.3 million spot-niche pairs and evaluated its performance through two downstream tasks across six datasets, demonstrating superior zero-shot and few-shot capabilities. ST-Align highlights the potential for reducing the cost of ST and providing valuable insights into the distinction of critical compositions within human tissue.

연구 동기 및 목표

• 기존 모델이 공간 전사체학(ST) 데이터의 공간적 맥락과 내재된 관계를 포착하는 데 한계가 있음을 해결하기 위해.
• 점 수준와 니치 수준에서 고해상도 병리 영상과 전체 전사체 유전자 발현 프로파일 간 격차를 메우기 위해.
• 다중모달 사전학습을 활용하여 다양한 ST 데이터셋에 대해 최소한의 미세조정으로 일반화할 수 있는 기초 모델을 개발하기 위해.
• 향상된 다중모달 융합과 공간 인식을 통해 공간 영역 식별 및 유전자 발현 예측 정확도를 향상시키기 위해.
• 제로샷 및 패기샷 전이 학습 기능을 통해 공간 전사체학의 비용과 복잡성을 줄이기 위해.

제안 방법

• 세 가지 목표 정렬 전략을 제안: (1) 점 수준의 이미지-유전자 정렬, (2) 니치 수준의 이미지-유전자 정렬, (3) 다중모달 특징의 교차 수준 융합.
• 다양한 척도에서 도메인 특화된 특징을 포착하기 위해 영상에 대해 비전 트랜스포머(Vision Transformer)와 유전자 서열에 대해 수정된 트랜스포머를 사용한 전용 인코더를 활용.
• 시각적 및 유전자 임베딩을 동적으로 융합하기 위해 주의 기반 융합 네트워크(ABFN)를 도입하여 공통 및 ST 전용 지식을 통합.
• 개별 점을 그들의 보다 넓은 공간적 니치와 정렬하기 위해 점-니치 대비 손실($\mathcal{L}_{NS}$)을 활용하여 공간 맥락 모델링을 향상.
• 정상, 병변, 악성 종양 샘플을 포함한 573개의 인간 조직 슬라이스에서 유래한 130만 개의 점-니치 쌍을 기반으로 ST-Align을 사전학습.
• 특징 표현력과 강건성을 향상시키기 위해 대비 학습과 마스킹 오토에코딩을 조합한 다단계 사전학습 프레임워크를 적용.

실험 결과

연구 질문

• RQ1 기초 모델이 공간 전사체학에서 여러 공간 척도에 걸쳐 이미지와 유전자 모달 간 효과적으로 정렬할 수 있는가?
• RQ2 니치 수준의 공간 맥락을 통합할 경우 이미지-유전자 정렬 모델의 성능이 어떻게 향상되는가?
• RQ3 주의 기반 융합 네트워크(ABFN)가 간단한 연결(concatenation)에 비해 다중모달 특징 융합을 얼마나 향상시키는가?
• RQ4 ST-Align이 공간 클러스터링과 유전자 예측과 같은 후행 작업에서 제로샷 및 패기샷 설정에서 어떻게 성능을 발휘하는가?
• RQ5 점-니치 대비 학습 목표는 ST 데이터에서 공간 관계 모델링에 얼마나 기여하는가?

주요 결과

• ST-Align은 다른 다중모달 모델 대비 비구조적 유전자 예측에서 +23.74% 향상된 성능을 기록하여 비구조적 특성에 특화된 유전자 예측의 효과성을 입증했다.
• 제로샷 공간 클러스터링에서 ST-Align은 CLIP과 PLIP보다 인간 뇌 조직 슬라이스의 L1 및 L2 층 간 미세한 구조적 차이를 정확히 구분하는 데 성공했다.
• 제거 실험 결과, AEs와 ABFN을 제거할 경우 두 후행 작업에서 각각 8.06%와 6.61% 성능 저하가 발생하여 이들이 특징 융합에 핵심적인 역할을 함을 입증했다.
• 점-니치 대비 손실($\mathcal{L}_{NS}$)을 통합함으로써 공간 클러스터링 성능이 17.76% 향상되어 공간 계층 모델링에 있어 그 가치를 입증했다.
• 기본 다중모달 모델 대비 비층상 유전자 예측에서 +6.97% 향상된 성능을 기록하여 유전자 특징에 대한 공동 사전학습의 이점을 보여주었다.
• 시각화 결과, 제로샷 설정에서 CLIP 및 PLIP에 비해 ST-Align이 백질과 L6 층 간 경계를 더 잘 구분하는 것으로 확인되었다.