[논문 리뷰] Weakly Supervised AI for Efficient Analysis of 3D Pathology Samples

Andrew H. Song, Mane Williams외 9명|arXiv (Cornell University)|2023. 07. 27.

AI in cancer detection인용 수 4

한 줄 요약

이 논문은 다양한 영상 모odalities에서의 볼륨형 조직 블록을 사용하여 환자 수준의 위험 분류를 가능하게 하는 약한 감독형 딥러닝 프레임워크인 MAMBA를 소개한다. 3D 조직 블록에 다중 인스턴스 학습을 적용함으로써 MAMBA는 전립선암에서 5년 생화학적 재발 예측에 AUC 0.86을 달성하여 2D 단일 슬라이스 방법을 능가하였으며, 더 큰 조직 부피 분석을 통해 샘플링 편향을 감소시켰다.

ABSTRACT

Human tissue and its constituent cells form a microenvironment that is fundamentally three-dimensional (3D). However, the standard-of-care in pathologic diagnosis involves selecting a few two-dimensional (2D) sections for microscopic evaluation, risking sampling bias and misdiagnosis. Diverse methods for capturing 3D tissue morphologies have been developed, but they have yet had little translation to clinical practice; manual and computational evaluations of such large 3D data have so far been impractical and/or unable to provide patient-level clinical insights. Here we present Modality-Agnostic Multiple instance learning for volumetric Block Analysis (MAMBA), a deep-learning-based platform for processing 3D tissue images from diverse imaging modalities and predicting patient outcomes. Archived prostate cancer specimens were imaged with open-top light-sheet microscopy or microcomputed tomography and the resulting 3D datasets were used to train risk-stratification networks based on 5-year biochemical recurrence outcomes via MAMBA. With the 3D block-based approach, MAMBA achieves an area under the receiver operating characteristic curve (AUC) of 0.86 and 0.74, superior to 2D traditional single-slice-based prognostication (AUC of 0.79 and 0.57), suggesting superior prognostication with 3D morphological features. Further analyses reveal that the incorporation of greater tissue volume improves prognostic performance and mitigates risk prediction variability from sampling bias, suggesting the value of capturing larger extents of heterogeneous 3D morphology. With the rapid growth and adoption of 3D spatial biology and pathology techniques by researchers and clinicians, MAMBA provides a general and efficient framework for 3D weakly supervised learning for clinical decision support and can help to reveal novel 3D morphological biomarkers for prognosis and therapeutic response.

연구 동기 및 목표

• 2D 병리학의 임상적 한계를 해결하기 위해 전체 조직 블록의 3D 볼륨 분석을 가능하게 하기 위해.
• 데이터 크기와 복잡성으로 인해 병리의사가 수동으로 3D 영상을 평가하는 것이 비현실적이므로 이를 해결하기 위해.
• 픽셀 수준의 애너테이션을 필요로 하지 않고도 3D 병리학 영상에서 약한 감독 학습을 가능하게 하는 모달리티에 관계없는 딥러닝 프레임워크를 개발하기 위해.
• 더 큰 조직 부피에서 공간적으로 비균일한 3D 형태학적 특징을 캡처하여 예후 정확도를 향상시키기 위해.
• 최소한의 애너테이션을 사용하여 임상적 의사결정 지원을 위한 일반화 가능한 계산 플랫폼을 제공하기 위해.

제안 방법

• MAMBA는 각 3D 조직 블록을 패치의 '백'으로 간주하고, 모델이 환자 수준의 결과를 약한 레이블이 부여된 백들로부터 예측할 수 있도록 하는 다중 인스턴스 학습(MIL) 프레임워크를 사용한다.
• 프레임워크는 3D 공간-시간 컨볼루션 신경망과 Swin 트랜스포머를 활용하여 3D 영상 패치에서 특징을 인코딩한다.
• 글로벌 어텐션 메커니즘이 패치 수준의 특징을 백 수준의 예측으로 통합하여 환자 수준의 레이블만으로 엔드 투 엔드 학습을 가능하게 한다.
• Grad-CAM 기반의 클래스 활성화 맵(Grad-CAM++)을 사용하여 어떤 3D 영역이 예측에 가장 기여하는지 시각화하는 열매지ap을 생성한다.
• 모델은 약한 감독 학습을 위해 오픈톱 라이트시트 현미경 및 마이크로-CT 영상의 보관된 전립선암 조직 샘플을 기반으로 훈련되었으며, 5년 생화학적 재발 기반 위험 분류가 이루어졌다.
• 통합 기울기(IG)를 통해 3D 볼륨 내에서 분류적 형태학적 특징을 강조함으로써 모델의 해석 가능성을 향상시켰다.

실험 결과

연구 질문

• RQ1 약한 감독형 딥러닝 프레임워크가 전통적인 2D 단일 슬라이스 분석에 비해 3D 병리학에서 더 뛰어난 예후 성능을 달성할 수 있는가?
• RQ2 3D 분석에 더 큰 조직 부피를 통합할 경우 샘플링 편향이 감소하고 예측 일관성이 향상되는가?
• RQ3 다양한 영상 모달리티(예: 라이트시트 현미경 및 마이크로CT)에서 3D 병리학 영상을 효과적으로 처리할 수 있는 모달리티에 관계없는 프레임워크가 가능한가?
• RQ4 가장 예측력 있는 3D 형태학적 특징는 무엇이며, 설명 가능한 AI 기법을 통해 이들을 해석할 수 있는가?
• RQ5 볼륨 기반 분석이 전립선암에서 5년 생화학적 재발 예측에 대한 ROC 곡선 아래 면적(AUC)을 얼마나 향상시키는가?

주요 결과

• MAMBA는 라이트시트 현미경 데이터를 사용하여 전립선암에서 5년 생화학적 재발 예측에 AUC 0.86을 달성하였으며, 2D 단일 슬라이스 방법(AUC 0.79)보다 유의미하게 뛰어난 성능을 보였다.
• 마이크로CT 데이터의 경우 MAMBA는 AUC 0.74를 기록하였고, 2D 단일 슬라이스 분석 대비 0.57에 그쳤다. 이는 3D 형태학적 특징 분석이 예후 성능 향상에 기여했음을 시사한다.
• 3D 블록 기반 분석에서 더 큰 조직 부피를 통합함으로써 위험 예측의 변동성이 감소하고 샘플링 편향이 완화되었다.
• Grad-CAM++ 및 통합 기울기(IG) 시각화 결과, 환자 예후 예측에 기여한 생물학적으로 타당하고 공간적으로 비균일한 형태학적 특징이 3D 조직 블록 내에서 확인되었다.
• 모델은 라이트시트 현미경 및 마이크로CT를 포함한 다양한 영상 모달리티 간에서 일반화 능력을 보였으며, 이는 모달리티에 관계없는 설계의 타당성을 입증한다.
• 인터랙티브 데모 및 오픈소스 코드를 통해 커뮤니티 접근성과 3D 약한 감독 병리학 도구의 향후 개발이 가능해졌다.