[논문 리뷰] Interpreting and Correcting Medical Image Classification with PIP-Net

Meike Nauta, Johannes H. Hegeman외 4명|arXiv (Cornell University)|2023. 07. 19.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 환자 진단에 적합한 해석 가능한 딥러닝 모델인 PIP-Net을 제안한다. 이 모델은 영상 수준의 레이블만으로 의미 있는 이미지 부분(프로토타입)을 학습함으로써 임상에서 이해할 수 있는 추론과 직접적인 모델 수정을 가능하게 한다. PIP-Net는 영상 레이블에서 의미 있는 이미지 부분을 학습함으로써, 예를 들어 골절 진단에서 X-ray 촬영 방식에 의존하는 단기적 학습 패턴(shortcut learning)을 드러내며, 임상의들이 문제 있는 프로토타입을 비활성화하여 모델을 수정할 수 있도록 함으로써 임상 AI 시스템의 신뢰성과 내성 강화에 기여한다.

ABSTRACT

Part-prototype models are explainable-by-design image classifiers, and a promising alternative to black box AI. This paper explores the applicability and potential of interpretable machine learning, in particular PIP-Net, for automated diagnosis support on real-world medical imaging data. PIP-Net learns human-understandable prototypical image parts and we evaluate its accuracy and interpretability for fracture detection and skin cancer diagnosis. We find that PIP-Net's decision making process is in line with medical classification standards, while only provided with image-level class labels. Because of PIP-Net's unsupervised pretraining of prototypes, data quality problems such as undesired text in an X-ray or labelling errors can be easily identified. Additionally, we are the first to show that humans can manually correct the reasoning of PIP-Net by directly disabling undesired prototypes. We conclude that part-prototype models are promising for medical applications due to their interpretability and potential for advanced model debugging.

연구 동기 및 목표

• 실제 임상 환경에서의 의료 영상 분류 작업(예: 골절 진단, 피부암 진단)에 PIP-Net를 적용할 수 있는지 평가하기.
• 파트 수준의 레이블이 없이도, PIP-Net가 허위 레이블, X-ray에 포함된 텍스트, 또는 레이블 오류와 같은 데이터 품질 문제를 프로토타입 분석을 통해 드러내는지 조사하기.
• PIP-Net의 추론 방식이 의료 영상 분야의 기존 분류 기준과 임상 지식과 얼마나 일치하는지 평가하기.
• 임상의들이 불필요한 프로토타입을 비활성화하여 모델 동작을 직접 수정할 수 있는지 탐색하기. 이는 재학습 없이도 모델 디버깅이 가능함을 의미한다.
• 프로토타입 조작을 통한 인간-기계 협업 모델을 통해 하이브리드 지능의 실현 가능성을 입증하기.

제안 방법

• PIP-Net는 영상 수준의 레이블만을 사용하여 희소하고 의미 있는 이미지 부분(프로토타입)을 학습하는 프로토타입 기반 아키텍처를 갖춘 컨볼루션 신경망을 사용한다.
• 프로토타입은 비지도 사전학습을 통해 초기화되어, 파트 레이블이 없더라도 관련된 이미지 패치를 자동으로 탐지할 수 있다.
• 모델은 입력 영상 패치와 학습된 프로토타입 간의 유사도를 측정하여 attention 점수를 계산하고, 이를 기반으로 분류를 위한 희소 점수 시트를 구성한다.
• 모델의 해석 가능성은 입력에 대해 활성화된 프로토타입을 시각화함으로써 달성되며, 이를 통해 임상의들이 추론 과정을 검토하고 검증할 수 있다.
• 단기적 학습 패턴은 특정 X-ray 촬영 방식과 연관된 프로토타입을 수동으로 비활성화함으로써 수정된다 (예: 고정된 환자 상태와 관련된 힙 골절 케이스에서의 특정 촬영 방식).
• 유효한 프로토타입이 활성화되지 않은 경우 모델은 예측을 하지 않으며, 이는 분포 외 입력에 대한 신뢰성 향상에 기여한다.

실험 결과

연구 질문

• RQ1 이 논문은 영상 수준의 레이블만을 사용하여 의료 영상에서 해석 가능하고 의미 있는 프로토타입을 학습할 수 있는가?
• RQ2 PIP-Net의 추론 방식은 기존 의료 분류 기준과 임상 지식과 얼마나 일치하는가?
• RQ3 PIP-Net는 파트 수준의 레이블 없이도, 불필요한 레이블(예: X-ray에 포함된 텍스트)이나 레이블 오류와 같은 데이터 품질 문제를 프로토타입 분석을 통해 탐지할 수 있는가?
• RQ4 임상의들이 특정 프로토타입을 비활성화함으로써 모델 동작을 효과적으로 수정할 수 있는가? 이는 단기적 학습 패턴 제거를 의미한다.
• RQ5 문제 있는 프로토타입을 비활성화하면 모델의 신뢰성 향상과 혼란 요인에 대한 의존도 감소가 이루어지는가?

주요 결과

• PIP-Net는 힙 골절 및 피부암 데이터셋 모두에서 해석 가능하고 의미 있는 프로토타입을 성공적으로 학습하였으며, 시각화된 패치들이 임상적으로 관련된解剖학적 영역과 일치하였다.
• 모델은 응급실에서 촬영된 X-ray에 대해서만 일부 프로토타입이 활성화되는 것을 확인하여, 골절 유무가 아닌 환자 이동성 상태에 기반한 단기적 학습 패턴이 존재함을 드러냈다.
• 이러한 시점 특이적 프로토타입을 비활성화한 후, 영향을 받는 이미지의 약 절반에서 골절 클래스에 대한 출력 점수가 0으로 떨어졌으며, 이는 모델이 이와 같은 허위 연관성에 의존하고 있음을 확인시켰다.
• 임상의들은 불필요한 프로토타입을 비활성화함으로써 모델의 추론 방식을 직접 수정할 수 있었으며, 재학습 없이도 모델 디버깅이 가능함을 입증하였다.
• 유효한 프로토타입이 활성화되지 않을 경우 모델이 예측을 하지 않는 능력은 임상 적용 시 안전성과 신뢰성 향상에 기여한다.
• 결과적으로 PIP-Net는 임상의와 AI 간의 双방향 피드백 루프를 가능하게 하여 하이브리드 지능을 지원함을 보여주었다. 전문가들이 프로토타입을 제안하거나 억제함으로써 모델 행동을 정교화할 수 있다.