[논문 리뷰] PIPNet3D: Interpretable Detection of Alzheimer in MRI Scans

Lisa Anita De Santi, Jörg Schlötterer외 5명|arXiv (Cornell University)|2024. 03. 27.

Brain Tumor Detection and ClassificationNeuroscience인용 수 3

한 줄 요약

PIPNet3D는 구조적 MRI 스캔에서 알츠하이머병 진단을 위한 3D 해석 가능한 딥러닝 모델로, 3D 공간에서 학습된 부분 프로토타입을 사용하여 인간이 이해할 수 있는 추론을 가능하게 한다. 블랙박스 모델과 동등한 성능을 달성하면서도 임상적으로 일치하고, 컴act하며 일관된 프로토타입을 생성하며 전문가 피드백에 따라 향상된다.

ABSTRACT

Information from neuroimaging examinations is increasingly used to support diagnoses of dementia, e.g., Alzheimer's disease. While current clinical practice is mainly based on visual inspection and feature engineering, Deep Learning approaches can be used to automate the analysis and to discover new image-biomarkers. Part-prototype neural networks (PP-NN) are an alternative to standard blackbox models, and have shown promising results in general computer vision. PP-NN's base their reasoning on prototypical image regions that are learned fully unsupervised, and combined with a simple-to-understand decision layer. We present PIPNet3D, a PP-NN for volumetric images. We apply PIPNet3D to the clinical diagnosis of Alzheimer's Disease from structural Magnetic Resonance Imaging (sMRI). We assess the quality of prototypes under a systematic evaluation framework, propose new functionally grounded metrics to evaluate brain prototypes and develop an evaluation scheme to assess their coherency with domain experts. Our results show that PIPNet3D is an interpretable, compact model for Alzheimer's diagnosis with its reasoning well aligned to medical domain knowledge. Notably, PIPNet3D achieves the same accuracy as its blackbox counterpart; and removing the remaining clinically irrelevant prototypes from its decision process does not decrease predictive performance.

연구 동기 및 목표

• 구조적 MRI 스캔에서 알츠하이머병 진단을 위한 3D 해석 가능한 딥러닝 모델을 개발하는 것.
• 기존의 3D 의료 영상에서의 부분 프로토타입 네트워크의 한계, 즉 공간적 일관성과 의미적 품질의 부족을 해결하는 것.
• 의료 분야 지식에 기반한 새로운 평가 지표와 전문가 평가를 활용하여 프로토타입 품질을 평가하는 것.
• 임상적으로 관련이 없는 프로토타입을 제거해도 성능 저하가 발생하지 않음을 입증하여 모델의 컴팩트성과 해석 가능성 향상시키는 것.
• 영상의학 지식과 일치하고 임상 의사결정 지원에 기여할 수 있는 자가설명형 모델을 제공하는 것.

제안 방법

• PIPNet3D는 3D 컨볼루션 네트워크 기반의 부분 프로토타입 신경망(PP-NN)으로, MRI 볼륨에서 비지도 방식으로 소수의 3D 프로토타입 영역(VOIs)을 학습한다.
• 모델은 3D 컨볼루션 백본을 통해 특징을 추출한 후, 글로벌 최대 풀링을 통해 프로토타입 존재 스코어를 생성한다.
• 선형이고 희소한 결정 레이어는 프로토타입 활성화에 기반해 예측을 계산하여 해석 가능성과 컴팩트성을 보장한다.
• 프로토타입의 功能적 및 공간적 일관성 평가를 위해 새로운 평가 지표인 '프로토타입 뇌 엔트로피'와 '프로토타입 국소화 일관성'을 도입한다.
• 프로토타입 품질 향상과 일반화 능력 향상을 위해 대비 기반 사전학습 목표를 사용해 모델을 훈련시킨다.
• 전문가 평가는 영상의학 전문의가 프로토타입의 일관성, 국소화, 패턴 일관성에 대해 평가하며, 피드백을 통해 모델의 해석 가능성 향상에 활용된다.

Figure 1: Overview of PiPNet3D. 3D prototypes are learned through a CNN backbone. Representations are optimized through a contrastive pre-training step. A linear sparse decision layer computes the predictions based on prototype (VOI) activations.

실험 결과

연구 질문

• RQ1 3D 부분 프로토타입 네트워크는 구조적 MRI(sMRI)에서 알츠하이머병 진단에 대해 해석 가능하고 임상적으로 의미 있는 설명을 제공할 수 있는가?
• RQ2 제안된 지표인 '프로토타입 뇌 엔트로피'와 '국소화 일관성'은 프로토타입 품질과 모델 성능과 어떻게 상관관계가 있는가?
• RQ3 전문가가 검증한 프로토타입은 신경영상의학 분야에서 널리 인정된 의료 지식과 어느 정도 일치하는가?
• RQ4 임상적으로 관련이 없는 프로토타입을 제거하면 모델의 예측 정확도나 컴팩트성에 영향을 미치는가?
• RQ5 자기 설명형 모델은 블랙박스 딥러닝 모델과 동등한 성능을 달성할 수 있는가?

주요 결과

• PIPNet3D는 블랙박스 모델과 동일한 분류 정확도를 달성하여, 해석 가능성의 향상으로 성능 저하가 발생하지 않음을 입증했다.
• 프로토타입 뇌 엔트로피는 F1 스코어와 강한 음의 상관관계(r = -0.89)를 보였으며, 더 순수하고 모호성이 적은 프로토타입일수록 모델 정확도가 높아짐을 시사한다.
• 로컬 설명당 평균 프로토타입 수는 3.8개였으며, 높은 희소성(평균 0.993)을 보여, 컴팩트하고 집중된 설명임을 나타낸다.
• 전문가 평가 결과, 높은 평가자 간 일관성(ICC: 0.80–0.85)과 높은 국소화 일관성(0.70) 및 패턴 일관성(0.90)을 보였으며, 특히 알츠하이머병(AD) 환자에서 두드러졌다.
• 전문가가 임상적으로 관련이 없다고 판단한 프로토타입을 제거해도 통계적으로 유의미한 성능 저하가 발생하지 않아, 모델의 강건성이 유지되면서도 컴팩트성이 향상됨을 확인했다.
• 비일관된 프로토타입은 정상 인지(CN)군에서 더 자주 발생했으며(국소화 일관성: 0.54), 이는 모델이 모든 클래스, 특히 병변이 없는 경우에 대한 증거를 찾아야 하기 때문일 수 있다.

Figure 2: Example of local and global explanation inherently provided by PIPNet3D (fold 5). The global explanation shows all prototypes of the models decision process. The local explanation shows the model’s reasoning for one particular patient.