[논문 리뷰] Spatially Resolved Gene Expression Prediction from H&E Histology Images via Bi-modal Contrastive Learning

Ronald Xie, Kuan Pang외 5명|arXiv (Cornell University)|2023. 06. 02.

AI in cancer detection인용 수 5

한 줄 요약

BLEEP (Bi-modal Embedding for Expression Prediction)는 공유 저차원 임bedding 공간에 이미지 및 유전자 발현 특징을 정렬하는 대비 학습을 사용하여 H&E 히스토로지 이미지에서 공간적으로 해상도가 높은 유전자 발현을 예측한다. 이는 인간 간엽 데이터셋에서 최신 기술 수준의 성능을 달성하여 이전 방법 대비 실제 발현과의 상관관계를 39–120% 향상시키며 생물학적 이질성은 유지하고 노이즈는 감소시킨다.

ABSTRACT

Histology imaging is an important tool in medical diagnosis and research, enabling the examination of tissue structure and composition at the microscopic level. Understanding the underlying molecular mechanisms of tissue architecture is critical in uncovering disease mechanisms and developing effective treatments. Gene expression profiling provides insight into the molecular processes underlying tissue architecture, but the process can be time-consuming and expensive. We present BLEEP (Bi-modaL Embedding for Expression Prediction), a bi-modal embedding framework capable of generating spatially resolved gene expression profiles of whole-slide Hematoxylin and eosin (H&E) stained histology images. BLEEP uses contrastive learning to construct a low-dimensional joint embedding space from a reference dataset using paired image and expression profiles at micrometer resolution. With this approach, the gene expression of any query image patch can be imputed using the expression profiles from the reference dataset. We demonstrate BLEEP's effectiveness in gene expression prediction by benchmarking its performance on a human liver tissue dataset captured using the 10x Visium platform, where it achieves significant improvements over existing methods. Our results demonstrate the potential of BLEEP to provide insights into the molecular mechanisms underlying tissue architecture, with important implications in diagnosis and research of various diseases. The proposed approach can significantly reduce the time and cost associated with gene expression profiling, opening up new avenues for high-throughput analysis of histology images for both research and clinical applications.

연구 동기 및 목표

• 공비싼 공간 전사체 분석이 필요 없이 H&E 히스토로지 이미지에서 공간적으로 해상도가 높은 유전자 발현을 예측하는 데 도전하는 것.
• 이미지와 발현 모달 간의 공유 표현을 학습하여 이미지-발현 예측 문제의 불안정한 성격을 극복하는 것.
• 각 유전자 회귀 대신 쿼리-기준치 보정 전략을 사용하여 유전자 발현 예측의 차원의 저주 문제를 완화하는 것.
• 대비 표현 학습을 통해 공간 전사체 분석 데이터에 존재하는 실험적 오염 요소에 대한 내성을 향상시키는 것.
• 예측된 발현 프로파일에서 생물학적으로 관련 있는 유전자-유전자 상관관계와 공간 이질성을 유지하고 강화하는 것.

제안 방법

• BLEEP는 CLIP를 영감으로 삼은 대비 학습 목표를 사용하여 H&E 이미지 패치와 그에 해당하는 공간 유전자 발현 프로파일을 공유 저차원 공간에 함께 임bedding한다.
• 이 프레임워크는 이미지 특징(ResNet 기반)과 유전자 발현 특징(MLP 기반)을 각각 처리하는 이중 스트림 인코더를 사용하며, 모두 공유 임베딩 공간으로 투영된다.
• 추론 과정에서 쿼리 이미지 패치의 발현은 공통 임베딩 공간에서 기준 데이터셋의 k개 이웃한 발현 프로파일에 대한 가중 평균을 계산하여 보정된다.
• 대비 손실은 짝지어진 샘플의 이미지 및 발현 임베딩 간의 정렬을 장려하면서 동시에 비짝지어진 샘플 간의 거리 확장을 유도하여 모달 간 정렬을 향상시킨다.
• 이 방법은 대규모 기준 데이터셋(쌍화된 H&E 이미지와 Visium 공간 전사체 분석 데이터)을 사용하여 공통 임베딩 공간을 학습한다.
• 보정 과정은 유사한 기준 프로파일을 평균화하여 노이즈를 감소시키고 미세한 생물학적 신호를 강화함으로써 진짜 발현과의 상관관계를 향상시킨다.

Figure 1: BLEEP achieves gene expression prediction from H&E image through (a) BLEEP learns a bimodal embedding from expression profiles and H&E image patches, (b) images patch queries are projected into the joint embedding space to index the $k$ nearest reference expression profiles, and (c) the in

실험 결과

연구 질문

• RQ1 이중 모달 대비 학습 프레임워크는 H&E 히스토로지 이미지와 공간 유전자 발현 프로파일 간의 공유 표현을 효과적으로 학습할 수 있는가?
• RQ2 공통 임베딩 공간에서의 쿼리-기준치 보정 전략은 유전자 발현 예측의 상관관계와 노이즈 내성 측면에서 직접 회귀 기반 방법보다 뛰어난가?
• RQ3 BLEEP는 예측된 발현 프로파일에서 생물학적 이질성과 유전자-유전자 상관관계 구조를 어느 정도 유지하는가?
• RQ4 BLEEP는 배치 효과나 측정 노이즈와 같은 공간 전사체 분석 데이터에 존재하는 실험적 오염 요소에 대해 얼마나 견고한가?
• RQ5 기준에 기반한 보정을 통해 BLEEP은 공간 발현 데이터의 신호 대 노이즈 비율을 향상시킬 수 있는가?

주요 결과

• BLEEP는 마커 유전자 전반에 걸쳐 실제 발현과 평균 상관계수 0.217 ± 0.002를 기록하여, 두 번째로 우수한 방법 대비 상관계수 향상 폭이 39–120%에 이르렀다.
• 예측된 발현 프로파일은 미세한 양성 및 음성 유전자-유전자 상관관계를 유지하고 강화하였으며, 보정 과정에서의 노이즈 감소로 인해 절대 상관계수 값이 증가하였다.
• 원래 Visium 데이터셋 대비 예측된 발현 프로파일의 분산이 낮아져, 측정 노이즈의 효과적인 제거 및 스무딩이 이루어졌음을 시사한다.
• 마커 유전자(MG), 고발현 유전자(HEG), 고변동성 유전자(HVG) 모두의 유전자 카테고리에서 높은 성능 유지를 기록하였으며, 각각 상관계수 r = 0.217 ± 0.002, 0.175 ± 0.016, 0.173 ± 0.011를 기록하였다.
• 시각화를 통해 예측된 발현 패턴이 간조직 단면에서 공간 이질성을 효과적으로 포착한 것으로 나타났다.
• BLEEP의 보정 과정은 실험적 오염 요소의 영향을 줄여 생물학적으로 더 일관되고 타당한 발현 예측 결과를 도출하였다.

Figure 2: Predicted expression profiles compare with reference expression profiles normalized by gene count means (Upper) or gene count variance (Lower).