[논문 리뷰] Transcriptomics-guided Slide Representation Learning in Computational Pathology

Guillaume Jaume, Lukas Oldenburg외 6명|arXiv (Cornell University)|2024. 05. 19.

Gene expression and cancer classificationBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

이 논문은 전사체학 데이터를 활용하여 조직병리학 슬라이드와 유전자 발현 프로파일 간의 대비 학습을 통해 전체 슬라이드 이미지(WSI) 표현 학습을 이끄는 자기지도 다중모달 프레임워크인 Tangle을 제안한다. 인간 및 쥐의 간, 유방, 폐 조직에서 8,629개의 인간 및 쥐(S+E) 쌍을 기반으로 사전학습한 Tangle은 독립적인 테스트 코hort(유방 1,265개, 폐 1,946개, 간 4,584개의 WSI)에서 감독 및 자기지도 기반 베이스라인보다 유의하게 뛰어난 소수의 예측 분류 및 슬라이드 검색 성능을 달성한다.

ABSTRACT

Self-supervised learning (SSL) has been successful in building patch embeddings of small histology images (e.g., 224x224 pixels), but scaling these models to learn slide embeddings from the entirety of giga-pixel whole-slide images (WSIs) remains challenging. Here, we leverage complementary information from gene expression profiles to guide slide representation learning using multimodal pre-training. Expression profiles constitute highly detailed molecular descriptions of a tissue that we hypothesize offer a strong task-agnostic training signal for learning slide embeddings. Our slide and expression (S+E) pre-training strategy, called Tangle, employs modality-specific encoders, the outputs of which are aligned via contrastive learning. Tangle was pre-trained on samples from three different organs: liver (n=6,597 S+E pairs), breast (n=1,020), and lung (n=1,012) from two different species (Homo sapiens and Rattus norvegicus). Across three independent test datasets consisting of 1,265 breast WSIs, 1,946 lung WSIs, and 4,584 liver WSIs, Tangle shows significantly better few-shot performance compared to supervised and SSL baselines. When assessed using prototype-based classification and slide retrieval, Tangle also shows a substantial performance improvement over all baselines. Code available at https://github.com/mahmoodlab/TANGLE.

연구 동기 및 목표

• 고비용의 병리학자 주석이 없는 거대 픽셀 전체 슬라이드 이미지(WSI)에서 강력하고 일반화 가능한 슬라이드 임베딩을 학습하는 데 도전한다.
• 유고해상도 분자적 맥락을 제공하는 유전자 발현 프로파일이 슬라이드 표현 학습을 위한 강력하고 작업에 종속되지 않는 감독 신호로 기능할 수 있는지 탐색한다.
• 시각적 슬라이드 특징과 분자 발현 임베딩 간의 정렬을 통해 다양한 조직 및 종에 걸쳐 일반화 능력을 향상시키는 다중모달 대비 학습 프레임워크를 개발한다.
• 소수의 예측 분류, 프로토타입 기반 분류, 슬라이드 검색 등의 최종 작업에서 제안된 방법의 성능을 독립적인 테스트 데이터셋에서 평가한다.
• 임베딩 공간의 순위 분석 및 주의 시각화를 통해 학습된 표현의 해석 가능성과 품질을 분석한다.

제안 방법

• Tangle은 슬라이드 패치에 대해 시각 트랜스포머를, 유전자 발현 프로파일에 대해 피드포워드 네트워크를 사용하는 모odal별 인코더를 활용한다.
• 모델은 공유된 잠재 공간에서 상호 유사도를 극대화함으로써 슬라이드 및 발현 임베딩 간의 정렬을 위해 대칭 대비 학습을 사용한다.
• 사전학습은 인간 및 쥐 조직의 간, 유방, 폐를 포함하는 The Cancer Genome Atlas(TCGA) 및 TG-GATEs의 8,629개(S+E) 쌍에서 수행된다.
• 모델은 최종 작업에서 레이블이 있는 예시 수를 최소로 사용하여 선형 프로빙을 통해 미세조정되며, 이는 소수의 예측 학습을 가능하게 한다.
• 제거 분석은 대비 손실, L1 및 L2 목표 함수, 평균 대비 및 무작위 패치 시각화의 사용 등 다양한 손실 구성 요소의 기여도를 평가한다.
• 특징의 강건성과 일반화 능력을 향상시키기 위해 局부-전반 및 局부-국부 정렬을 조합한 하이브리드 대비 목표 함수를 도입한다.

실험 결과

연구 질문

• RQ1 전사체학 데이터가 자기지도 전체 슬라이드 이미지 표현 학습을 위한 강력하고 작업에 종속되지 않는 감독 신호로 기능할 수 있는가?
• RQ2 조직병리학 슬라이드와 유전자 발현 프로파일 간의 다중모달 대비 학습이 순수 시각적 SSL 또는 감독 기반 베이스라인 대비 소수의 예측 분류 및 슬라이드 검색 성능 향상에 어떻게 기여하는가?
• RQ3 Tangle에서 학습된 표현이 종양과 같은 임상적으로 관련 있는 영역에 주의를 기울이는 경향을 보이며, 이러한 작업에 대해 명시적인 훈련 없이도 생물학적 의미를 갖는가?
• RQ4 다양한 대비 손실 구성 요소 및 하이퍼파라미터(예: 배치 크기, 온도, 패치 수)가 최종 성능에 미치는 영향은 무엇인가?
• RQ5 매끄러운 랭크로 측정된 학습된 슬라이드 임베딩 공간의 내재 차원수는 최종 분류 정확도와 어떻게 상관관계가 있는가?

주요 결과

• Tangle은 독립적인 테스트 코hort(유방 1,265개, 폐 1,946개, 간 4,584개의 WSI)에서 감독 기반(ABMIL) 및 자기지도 기반(Intra) 베이스라인보다 유의하게 뛰어난 소수의 예측 분류 성능을 달성한다.
• TG-GATEs 쥐 간 병변 분류 작업에서 Tangle은 AUC 0.92를 기록하여 다음으로 우수한 베이스라인보다 7.0%포인트 높은 성능을 보였다.
• Tangle의 대칭 대비 손실은 일관된 성능 향상을 가져왔으며, L1 및 L2 손실은 각각 AUC에서 6.7% 및 7.0% 하락을 초래했다.
• Tangle 목표 함수와 내부 슬라이드 대비 손실(예: 평균 또는 무작위 시각과의 대비)을 조합하면 AUC가 -2.0% 하락하여 (S+E) 신호가 충분하고 상호보완적임을 시사한다.
• 주의 히트맵 분석 결과, 고정된 ABMIL 인코더가 유방 및 폐 WSI에서 종양 영역을 자연스럽게 집중적으로 보여주며, 명시적인 종양 관련 감독 없이도 임상적 의미 있는 표현이 유도됨을 보였다.
• 슬라이드 임베딩 행렬의 매끄러운 랭크와 최종 분류 성능 사이에 강한 정적 상관관계가 관찰되어 Tangle이 고차원적이고 정보가 풍부한 잠재 공간을 학습함을 시사한다.