[논문 리뷰] Multimodal contrastive learning for spatial gene expression prediction using histology images

Wenwen Min, Zhiceng Shi외 3명|arXiv (Cornell University)|2024. 07. 11.

Gene expression and cancer classification인용 수 4

한 줄 요약

이 논문은 H&E 히스토로지 이미지에서 공간적 유전자 발현을 예측하기 위해 트랜스포머와 DenseNet-121 인코더를 사용하는 다중모odal 대비 학습 프레임워크인 mclSTExp을 제안한다. ST 스팟을 '단어'로 간주하고, 자기주의와 대비 학습을 활용하여 공간적 및 이미지 특징을 통합한다. 이는 세 가지 데이터셋에서 기존 방법보다 23.01–32.09% 높은 PCC 성능을 달성하며, 암 관련 및 면역 관련 유전자에 대한 해석 가능성도 제공한다.

ABSTRACT

In recent years, the advent of spatial transcriptomics (ST) technology has unlocked unprecedented opportunities for delving into the complexities of gene expression patterns within intricate biological systems. Despite its transformative potential, the prohibitive cost of ST technology remains a significant barrier to its widespread adoption in large-scale studies. An alternative, more cost-effective strategy involves employing artificial intelligence to predict gene expression levels using readily accessible whole-slide images (WSIs) stained with Hematoxylin and Eosin (H\&E). However, existing methods have yet to fully capitalize on multimodal information provided by H&E images and ST data with spatial location. In this paper, we propose extbf{mclSTExp}, a multimodal contrastive learning with Transformer and Densenet-121 encoder for Spatial Transcriptomics Expression prediction. We conceptualize each spot as a "word", integrating its intrinsic features with spatial context through the self-attention mechanism of a Transformer encoder. This integration is further enriched by incorporating image features via contrastive learning, thereby enhancing the predictive capability of our model. Our extensive evaluation of extbf{mclSTExp} on two breast cancer datasets and a skin squamous cell carcinoma dataset demonstrates its superior performance in predicting spatial gene expression. Moreover, mclSTExp has shown promise in interpreting cancer-specific overexpressed genes, elucidating immune-related genes, and identifying specialized spatial domains annotated by pathologists. Our source code is available at https://github.com/shizhiceng/mclSTExp.

연구 동기 및 목표

• 공간 전사체석(ST)의 높은 비용 문제를 해결하기 위해, 쉽게 확보할 수 있고 저비용인 H&E 전체 슬라이드 이미지(WSI)에서 정확한 유전자 발현 예측을 가능하게 하기 위해.
• 기존 방법보다 더 효과적으로 ST 데이터(공간적 유전자 발현)와 H&E 이미지(히스토로지 형태)의 다중모달 정보를 통합하기 위해.
• 자기주의와 대비 학습을 통해 ST 스팟 간의 공간적 관계를 모델링하여 예측 성능을 향상시키기 위해.
• 암 관련 과발현 유전자 및 면역 관련 표지자와 같은 생물학적으로 의미 있는 유전자를 해석 가능하게 하기 위해.
• 예측된 유전자 발현 패턴을 통해 병리학자가 애너테이션한 공간적 영역을 식별하기 위해.

제안 방법

• 각 ST 스팟을 '단어'로 간주하고, 학습 가능한 위치 임베딩을 갖춘 트랜스포머 인코더를 사용해 스팟의 시퀀스를 '문장'으로 모델링한다.
• 각 ST 스팟에 대응하는 H&E WSI 패치에서 이미지 특징을 추출하기 위해 DenseNet-121 백본을 사용한다.
• 이미지 특징과 ST 스팟 임베딩을 동일한 잠재 공간에 정렬하기 위해 대비 학습을 적용하며, 양성 쌍(일치하는 이미지와 스팟) 간 유사도를 최대화하고, 음성 쌍 간 유사도를 최소화한다.
• 트랜스포머 내 자기주의를 통해 공간적 맥락을 통합하여 각 스팟이 다른 스팟을 주시하고 장거리 공간적 의존성을 포착할 수 있도록 한다.
• 질의에 대해 가장 유사한 '단어'(스팟) 상위-k개를 집계하고, 이미지 표현과의 코사인 유사도에 따라 가중치를 적용하여 유전자 발현을 예측한다.
• 유전자 발현 예측에 대해 대비 손실과 회귀 손실을 사용하여 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 H&E 이미지 특징과 공간 ST 스팟 데이터를 효과적으로 조합하여 유전자 발현 예측 성능을 향상시키기 위해 다중모달 대비 학습 프레임워크가 유의미한가?
• RQ2 자기주의를 활용해 시퀀스로 모델링된 ST 스팟을 '단어'로 간주함으로써 공간 맥락 모델링과 예측 정확도가 향상되는가?
• RQ3 모델이 암 조직에서 생물학적으로 의미 있는 공간 영역과 과발현 유전자를 식별할 수 있는가?
• RQ4 다양한 데이터셋에서 BLEEP, HisToGene, STnet과 같은 최고 수준의 기존 방법과 비교해 mclSTExp의 예측 성능는 어떠한가?
• RQ5 mclSTExp는 예측 데이터에서 유전자 간 공표현 패턴과 생물학적 이질성을 어느 정도 유지하는가?

주요 결과

• HER2+ 유방암 데이터셋에서 mclSTExp는 두 번째로 우수한 방법(BLEEP)보다 23.01% 높은 PCC(ACG)를 달성했다.
• cSCC 피부 편평세포암 유방암 데이터셋에서 mclSTExp는 BLEEP보다 PCC(ACG)에서 32.09% 향상되었다.
• Alex+10x 데이터셋에서 mclSTExp는 BLEEP보다 PCC(ACG)에서 25.56% 높게 기록하여 다양한 조직 유형에서 일관된 우수성을 입증했다.
• 세 데이터셋 전반에서 mclSTExp는 모든 베이스라인보다 PCC(HEG)에서 27.82%에서 36.48%까지 높은 성능을 보였다.
• 모델은 이전에 다른 방법으로는 탐지하지 못했던 면역 관련 핵심 유전자인 HLA-B와 HLA-DRA를 성공적으로 예측하여 생물학적 해석 가능성의 우수성을 입증했다.
• 예측된 유전자 발현 데이터의 계층적 클러스터링은 기존의 생물학적 공표현 패턴을 유지하였으며, 실제 ST 데이터와 유사한 상관계사각형을 보였다.