[논문 리뷰] Interpretable histopathology-based prediction of disease relevant features in Inflammatory Bowel Disease biopsies using weakly-supervised deep learning

Ricardo Mokhtari, Azam Hamidinekoo외 13명|arXiv (Cornell University)|2023. 03. 20.

Tuberculosis Research and EpidemiologyMedicine인용 수 3

한 줄 요약

이 연구는 전임상적 진단을 위한 해부학적 특징을 예측하는 해석 가능한 약한 감독 기반 딥러닝 모델을 개발하였으며, 이는 내 endoscopic 레이블만을 사용하여 염증성 장질환(IBD) 생검에서 병리학적 특징을 예측한다. 자기지도 학습 및 주의 맵을 활용하여, 크론병과 궤양성 대장염을 분류하는 데 있어 높은 AUC(최대 0.87)를 달성하였고, 병리학자가 검증한 염증과 강하게 상관관계를 보였다. 이는 심각한 경우의 자동 우선순위 정렬과 임상 시험에서의 환자 분류 향상에 기여한다.

ABSTRACT

Crohn's Disease (CD) and Ulcerative Colitis (UC) are the two main Inflammatory Bowel Disease (IBD) types. We developed deep learning models to identify histological disease features for both CD and UC using only endoscopic labels. We explored fine-tuning and end-to-end training of two state-of-the-art self-supervised models for predicting three different endoscopic categories (i) CD vs UC (AUC=0.87), (ii) normal vs lesional (AUC=0.81), (iii) low vs high disease severity score (AUC=0.80). We produced visual attention maps to interpret what the models learned and validated them with the support of a pathologist, where we observed a strong association between the models' predictions and histopathological inflammatory features of the disease. Additionally, we identified several cases where the model incorrectly predicted normal samples as lesional but were correct on the microscopic level when reviewed by the pathologist. This tendency of histological presentation to be more severe than endoscopic presentation was previously published in the literature. In parallel, we utilised a model trained on the Colon Nuclei Identification and Counting (CoNIC) dataset to predict and explore 6 cell populations. We observed correlation between areas enriched with the predicted immune cells in biopsies and the pathologist's feedback on the attention maps. Finally, we identified several cell level features indicative of disease severity in CD and UC. These models can enhance our understanding about the pathology behind IBD and can shape our strategies for patient stratification in clinical trials.

연구 동기 및 목표

• 비용이 많이 드는 전체 슬라이드 이미지 레이블링에 의존하지 않고, 내 endoscopic 레이블만을 사용하여 IBD 생검의 병리학적 특징을 예측하는 해석 가능한 딥러닝 모델을 개발하는 것.
• 약한 감독 기반 학습이 크론병과 궤양성 대장염에서 내 endoscopic 모습과 기저 병리학적 특징 간의 관계를 효과적으로 연결할 수 있는지 조사하는 것.
• 병리학자와의 협업을 통해 주의 맵을 활용하여 모델 예측을 검증하고, 전문가가 검증한 병리학적 평가와의 상관관계를 확인하는 것.
• 사전 학습된 CoNIC 모델을 활용하여 세포 유형을 예측하고, 주의 맵과의 일관성 및 임상적 관련성을 평가하는 것.
• 주의 맵을 통해 병변 부위를 강조하고 예측된 심각도 순으로 생검을 정렬하여 병리학자의 작업 흐름을 빠르고 효율적으로 개선하는 것.

제안 방법

• SPARC IBD 데이터셋의 1,394개 전체 슬라이드 이미지에 대해 DSMIL 및 HIPT라는 두 가지 최신 자기지도 학습 모델을 피지컬 튜닝 및 엔드 투 엔드 학습하여 내 endoscopic 레이블을 약한 감독으로 사용.
• SPARC IBD 데이터셋에서 자기지도 사전 학습을 수행하여 의미 있는 조직 임베딩을 학습하고, ImageNet 또는 TCGA 사전 학습보다 후행 작업 성능을 향상시켰다.
• 모델에서 생성된 주의 맵을 활용하여 관심 영역을 국소화하고, 병리학자가 검증한 병리학적 염증 패atters와의 일관성을 확인하였다.
• 사전 학습된 CoNIC 모델을 활용하여 생검에서 6개의 면역세포 집단을 예측하고, 주의 맵과의 공간 일관성을 평가하였다.
• 세 가지 작업에서 모델 성능을 평가하였다: (i) 크론병 대 비해 궤양성 대장염 분류, (ii) 정상 대 병변 조직 분류, (iii) 낮은 대 높은 내 endoscopic 심각도 점수 분류.
• 특정 부분(예: 장의 위쪽 또는 소장만)의 데이터로만 학습하는 탈락 연구를 수행하여 성능 변동성과 임상 적용 가능성 평가.

실험 결과

연구 질문

• RQ1 내 endoscopic 레이블만으로 학습된 약한 감독 기반 딥러닝 모델이 IBD 생검의 병리학적 특징을 정확하게 예측할 수 있는가?
• RQ2 이 모델의 주의 맵이 병리학자가 검증한 병리학적 염증 패턴과 일치하는 염증 부위를 국소화하는가?
• RQ3 CoNIC 모델이 예측한 면역세포 집단의 예측치는 주의 맵 및 병리학자가 기술한 염증 특성과 어떻게 비교되는가?
• RQ4 SPARC IBD 데이터셋에서 엔드 투 엔드 튜닝이 TCGA와 같은 외부 데이터셋에서의 전이 학습보다 성능을 향상시키는가?
• RQ5 이 모델을 사용하여 예측된 심각도 순으로 생검을 우선순위 정렬하고 병리학자가 병변 부위에 집중할 수 있도록 안내할 수 있는가?

주요 결과

• HIPT-E2E 모델은 크론병과 궤양성 대장염을 구분하는 데 AUC 0.87을 기록하여 DSMIL-E2E(0.87)보다 유의하게 높은 성능(0.0001 이하)을 보였다.
• 정상 대 병변 조직 분류 작업에서 HIPT-E2E 모델은 AUC 0.81을 기록하였고, 주의 맵과 병리학자가 레이블링한 염증 영역 간의 Dice 계수는 0.625였다.
• 내 endoscopic 심각도 점수 분류에서 HIPT-E2E 모델은 크론병에 대해 AUC 0.80, 궤양성 대장염에 대해 AUC 0.80을 기록하여 강력한 예측 능력을 보였다.
• 중성구 비율은 궤양성 대장염에서 가장 유의미한 병리학적 특징이었으며(p = 0.0007), 크론병에서는 호酸성구 비율이 가장 중요한 지표였다(p = 0.0002).
• SPARC IBD 데이터셋에서 엔드 투 엔드 학습을 수행한 결과, 사전 학습된 가중치를 사용한 피지컬 튜닝보다 성능 향상이 뚜렷하여, 도메인 특화 자기지도 학습이 특징 학습을 향상시킨다는 것을 시사했다.
• 궤양성 대장염 또는 대장만으로 학습한 경우 성능 향상이 있었지만, 소장만으로 학습한 경우 성능 저하가 있었으며, 이는 데이터 부족과 더 복잡한 형태학적 특성 때문일 것이다.