[논문 리뷰] MProtoNet: A Case-Based Interpretable Model for Brain Tumor Classification with 3D Multi-parametric Magnetic Resonance Imaging

Yuanyuan Wei, Roger Tam외 1명|arXiv (Cornell University)|2023. 04. 13.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

MProtoNet은 3D 다중 매개변수 MRI 뇌 종양 분류를 위한 새로운 사례 기반 해석 가능한 딥러닝 모델로, ProtoPNet을 의료 영상에 확장하면서 소프트 마스킹과 온라인-CAM 손실을 사용하는 새로운 주의 모듈을 도입하였다. 학습 중 인간이 레이블링한 데이터가 필요 없이도 최첨단 수준의 해석 가능성을 달성하였으며, 최고의 활성화 정밀도는 0.713 ± 0.058를 기록하였다.

ABSTRACT

Recent applications of deep convolutional neural networks in medical imaging raise concerns about their interpretability. While most explainable deep learning applications use post hoc methods (such as GradCAM) to generate feature attribution maps, there is a new type of case-based reasoning models, namely ProtoPNet and its variants, which identify prototypes during training and compare input image patches with those prototypes. We propose the first medical prototype network (MProtoNet) to extend ProtoPNet to brain tumor classification with 3D multi-parametric magnetic resonance imaging (mpMRI) data. To address different requirements between 2D natural images and 3D mpMRIs especially in terms of localizing attention regions, a new attention module with soft masking and online-CAM loss is introduced. Soft masking helps sharpen attention maps, while online-CAM loss directly utilizes image-level labels when training the attention module. MProtoNet achieves statistically significant improvements in interpretability metrics of both correctness and localization coherence (with a best activation precision of $0.713\pm0.058$) without human-annotated labels during training, when compared with GradCAM and several ProtoPNet variants. The source code is available at https://github.com/aywi/mprotonet.

연구 동기 및 목표

• 3D 다중 매개변수 MRI에서 뇌 종양 분류를 위한 해석 가능한 딥러닝 모델의 부족을 해결하기 위해.
• 특히 공간 일관성이 중요한 3D 볼륨에서 주의 분포의 국소화를 향상시키기 위해.
• 인간이 레이블링한 데이터에 의존하지 않고도 속성 맵과 원형 설명을 모두 제공하는 사례 기반 추론 모델을 개발하기 위해.
• 분류 정확도와 무관하게 활성화 정밀도 및 누적 삭제 점수와 같은 지표를 사용하여 해석 가능성을 평가하기 위해.
• 복잡한 3D MRI 데이터에서 관련 종양 영역을 정확히 국소화하는 데에 한계가 있는 ProtoPNet을 3D 의료 영상에 확장하기 위해.

제안 방법

• 3D 다중 매개변수 MRI 뇌 종양 분류를 위한 첫 번째 프로토타입 네트워크인 MProtoNet을 제안하며, ProtoPNet을 의료 영상에 확장한다.
• 주의 지도를 명확히 하고 국소화 정밀도를 향상시키기 위해 소프트 마스킹을 적용한 새로운 주의 모듈을 도입한다.
• 이미지 수준의 레이블을 직접 학습 중에 사용하여 주의 학습을 이끌어내는 온라인-CAM 손실을 적용한다.
• 모든 모델 간의 공정한 분류 성능 비교를 위해 공통의 3D ResNet 백본을 사용한다.
• 비의미 있는 영역을 억제함으로써 주의 지도의 정교함을 향상시키고 공간 일관성을 강화하기 위해 소프트 마스킹을 적용한다.
• 경계 상자나 세그멘테이션 레이블이 아닌 이미지 수준의 레이블만을 사용하여 모델을 엔드 투 엔드로 학습한다.

Figure 1: The overall architecture of MProtoNet. Online-CAM only occurs during training.

실험 결과

연구 질문

• RQ1 사례 기반 프로토타입 네트워크는 3D 다중 매개변수 MRI 뇌 종양 분류에 효과적으로 확장될 수 있는가?
• RQ2 소프트 마스킹과 온라인-CAM 손실은 3D 의료 영상에서 주의 국소화와 해석 가능성을 어떻게 향상시키는가?
• RQ3 제안된 MProtoNet은 인간이 레이블링한 데이터 없이 GradCAM 및 ProtoPNet 변종보다 더 뛰어난 해석 가능성을 달성하는가?
• RQ4 해석 가능성을 향상시키는 동안 분류 성능은 어느 정도 유지되는가?
• RQ5 모델은 정확하고 공간적으로 일관된 주의 지도와 사례 기반 원형 설명을 동시에 생성할 수 있는가?

주요 결과

• MProtoNet C는 최고의 활성화 정밀도 0.713 ± 0.058를 기록하며, XProtoNet(p < 0.001) 및 기타 기준 모델들을 뛰어넘었다.
• MProtoNet C의 누적 삭제 점수(_IDS)는 0.079 ± 0.034로, XProtoNet보다 통계적으로 유의미한 향상(p = 0.031)을 보였다.
• 모델은 균형 잡힌 정확도 0.858 ± 0.048를 유지하며, 기준 CNN 및 XProtoNet과 유사한 성능을 보여 분류 성능 저하가 없음을 확인했다.
• 소프트 마스킹과 온라인-CAM 손실이 함께 작용하여 IDS 및 활성화 정밀도에서 통계적으로 유의미한 향상을 이끌어내어 그 중요성을 입증했다.
• 시각화 결과는 MProtoNet C가 GradCAM 및 ProtoPNet 변종보다 더 일관되고 국소화된 주의 지도를 생성하는 것으로 나타났으며, 특히 복잡한 3D 종양 영역에서 뚜렷한 우수성을 보였다.
• 학습 중 인간이 레이블링한 데이터가 전혀 필요 없이도 모델은 뛰어난 해석 가능성을 달성하여 실제 3D 의료 영상 응용 분야에서 큰 잠재력을 보였다.

Figure 2: Demonstration of the case-based reasoning in MProtoNet. It can provide case-based prototypical explanations with both attention maps and similarity scores.