[논문 리뷰] Deep Learning Under the Microscope: Improving the Interpretability of Medical Imaging Neural Networks

Magdalini Paschali, Muhammad Ferjad Naeem외 4명|arXiv (Cornell University)|2019. 04. 05.

AI in cancer detection참고 문헌 2인용 수 5

한 줄 요약

이 논문은 조직학적 전체 슬라이드 이미지(WSI) 분류를 위한 해석 가능한 강력한 감독을 받는 딥러닝 프레임워크인 MILSILBagnet을 제안한다. Bag-of-Features 기반의 DNN와 다중 인스턴스 학습(MIL) 브랜치를 결합하고 세분화된 로짓 히트맵 시각화를 통해, 이 방법은 뛰어난 정확도와 세포소기관 수준의 주의 분포 국소화를 달성하여 CRC 및 Camelyon16 데이터셋에서 베이스라인을 능가하며 임상적 해석 가능성이 전문 병리의사에 의해 확인되었다.

ABSTRACT

In this paper, we propose a novel interpretation method tailored to histological Whole Slide Image (WSI) processing. A Deep Neural Network (DNN), inspired by Bag-of-Features models is equipped with a Multiple Instance Learning (MIL) branch and trained with weak supervision for WSI classification. MIL avoids label ambiguity and enhances our model's expressive power without guiding its attention. We utilize a fine-grained logit heatmap of the models activations to interpret its decision-making process. The proposed method is quantitatively and qualitatively evaluated on two challenging histology datasets, outperforming a variety of baselines. In addition, two expert pathologists were consulted regarding the interpretability provided by our method and acknowledged its potential for integration into several clinical applications.

연구 동기 및 목표

• 전체 슬라이드 이미지(WSI) 분류를 위한 딥러닝 모델에서 세분화된, 확장 가능한 해석 가능성의 부족을 해결하기 위해.
• 큰 WSI에서 모델 활성화와 세포소기관 구조 간의 직접적인 대응을 가능하게 하여 모델의 해석 가능성을 향상시키기 위해.
• 비용이 많이 드는 핵구조 수준의 애너테이션에 의존하지 않으면서도 높은 의사결정 정확도를 유지할 수 있는 약한 감독 방법을 개발하기 위해.
• 병리의사가 애너테이션 및 진단 워크플로우를 지원할 수 있는 임상적으로 활용 가능한 시각화 도구를 제공하기 위해.
• 공개된 조직학적 데이터셋에서 최신 기술과의 성능 및 해석 가능성 비교를 위해 제안된 방법의 성능을 평가하기 위해.

제안 방법

• 모델는 1x1 컨볼루션을 사용하여 각 2048차원 특징 벡터를 원본 WSI의 9×9 공간 영역에 매핑함으로써 픽셀 수준의 대응을 가능하게 하는 Bag-of-Features 기반 아키텍처를 사용한다.
• 약한 감독을 처리하기 위해 다중 인스턴스 학습(MIL) 브랜치를 통합하여, 인스턴스 수준의 애너테이션이 없이 전체 WSI가 레이블링된 상태에서 학습함으로써 강건성과 표현력을 향상시킨다.
• 별도의 공간 인스턴스 학습(SIL) 브랜치는 패치 수준의 로짓을 계산하며, 이는 세분화된 로짓 히트맵 생성에 사용된다.
• 최종 예측은 MIL 브랜치에 대한 글로벌 평균 풀링 레이어를 통해 이루어지며, 이는 약한 레이블이 부여된 WSI에서 백 수준 분류를 가능하게 한다.
• 로짓 히트맵 시각화 방법은 모델 활성화를 이미지 영역에 직접 매핑하여 고해상도의 주의 맵을 제공하며, 이는 악성 세포를 세포소기관 수준에서 강조한다.
• 모델는 인스턴스 수준의 바운딩 박스나 세그멘테이션 마스크가 필요 없이, 약한 레이블이 부여된 WSI에서 교차 엔트로피 손실을 사용해 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 약한 감독을 받는 딥러닝 모델이 세포소기관 수준에서 뛰어난 정확도를 달성하면서도 세분화된 해석 가능성을 유지할 수 있는가?
• RQ2 Bag-of-Features 아키텍처와 MIL 브랜치의 통합이 조직학적 WSI에서 표준 DNN보다 성능과 강건성을 향상시키는가?
• RQ3 로짓 히트맵이 CAM이나 GradCAM보다 더 정확하고 임상적으로 의미 있는 주의 맵을 제공할 수 있는가?
• RQ4 제안된 시각화 방법이 병리의사의 애너테이션 작업과 임상적 의사결정에 얼마나 기여할 수 있는가?
• RQ5 복잡한 조직학적 구조에서 다양한 확대 수준에서 모델의 확장성은 어떻게 유지되며, 주의 세부 정보는 손실 없이 유지되는가?

주요 결과

• 제안된 방법은 Camelyon16 데이터셋에서 MIL 브랜치를 사용해 98.00 ± 2.74%의 정확도를 달성하였으며, 다음으로 우수한 베이스라인인 ADMIL보다 3.16%p 높았다.
• CRC 데이터셋에서 SIL 브랜치를 사용한 모델은 89.59 ± 3.03%의 정확도를 기록하였으며, 다음으로 우수한 방법인 ADMW보다 4.24%p 높았다.
• 로짓 히트맵 시각화 방법은 뛰어난 세분화된 주의 분포를 보였으며, CAM 및 GradCAM이 전반적인 구조에 집중하는 데 반해, 고해상도에서 악성 세포핵을 명확히 강조하였다.
• 전문 병리의사들은 클리어한 시각화, 세포소기관 해상도, 진단적 특징과의 직접적 대응성으로 인해 제안된 로짓 히트맵을 CAM 및 GradCAM보다 선호하였다.
• 그림 3에서 보듯이, 모델는 다양한 확대 수준에서 고해상도 주의 맵을 유지하였으며, 확대된 영역에서도 세부 정보의 열화 없이 주의 세부 정보를 유지하였다.
• 병리의사들의 평가를 통해 모델의 확장성과 해석 가능성은 검증되었으며, 병리의사의 자동 애너테이션 및 교육 지원에 임상적 응용 가능성을 발견하였다.