[논문 리뷰] Robust and Interpretable Medical Image Classifiers via Concept Bottleneck Models

An Yan, Yu Wang외 9명|arXiv (Cornell University)|2023. 10. 04.

Machine Learning in Healthcare인용 수 9

한 줄 요약

이 논문은 이미지에서 GPT-4 유래 의학 개념으로 이미지를 매핑하여 강건하고 해석 가능한 의학 영상 분류기를 제시하고, 이를 통해 일반화와 해석 가능성을 향상시킨다.

ABSTRACT

Medical image classification is a critical problem for healthcare, with the potential to alleviate the workload of doctors and facilitate diagnoses of patients. However, two challenges arise when deploying deep learning models to real-world healthcare applications. First, neural models tend to learn spurious correlations instead of desired features, which could fall short when generalizing to new domains (e.g., patients with different ages). Second, these black-box models lack interpretability. When making diagnostic predictions, it is important to understand why a model makes a decision for trustworthy and safety considerations. In this paper, to address these two limitations, we propose a new paradigm to build robust and interpretable medical image classifiers with natural language concepts. Specifically, we first query clinical concepts from GPT-4, then transform latent image features into explicit concepts with a vision-language model. We systematically evaluate our method on eight medical image classification datasets to verify its effectiveness. On challenging datasets with strong confounding factors, our method can mitigate spurious correlations thus substantially outperform standard visual encoders and other baselines. Finally, we show how classification with a small number of concepts brings a level of interpretability for understanding model decisions through case studies in real medical data.

연구 동기 및 목표

• 임상 데이터에서 잘못된 상관관계에 저항하는 강건한 의학 영상 분류를 동기화한다.
• GPT-4에서 소스된 자연어 개념을 사용하여 시각 특징 활용을 가이드하는 프레임워크를 제안한다.
• 시각-언어 모델로 이미지를 개념과 연결하여 해석 가능한 예측을 만든다.
• 개념 기반 분류기가 혼합 데이터에서 강건성을 개선하고 표준 벤치마크에서 경쟁력 있는 정확도를 유지함을 보여준다.

제안 방법

• 제로샷 방식으로 각 질환 클래스에 대한 의학 개념을 GPT-4로부터 이끌어낸다.
• 비전-언어 모델(BioViL)을 사용하여 시각 특징을 GPT-4 유래 개념 공간으로 투사하고 개념 히트맵을 얻는다.
• 개념-이미지 유사도를 풀링하고 점수를 정규화한 뒤 바이어스가 없는 선형 분류기로 입력하여 개념 벡터를 계산한다.
• 최종 선형 계층의 가중치를 통해 개념과 클래스 간 연결 및 인스턴스별 기여 분석을 통해 해석가능성을 제공한다.
• 각 로그잇이 개념 점수의 비음수 선형 조합인 개념 기반 로짓에 대해 교차 엔트로피 손실로 학습한다.

실험 결과

연구 질문

• RQ1 GPT-4가 생성한 개념이 의료 영상에서 도메인 혼란에 대한 강건성을 향상시킬 수 있는가?
• RQ2 시각 특징을 개념 공간으로 투사하는 것이 잘못된 상관관계에 대한 의존을 줄이는가, 그러나 정확도는 유지되는가?
• RQ3 개념 기반 접근 방식이 글로벌 및 인스턴스 수준에서 어느 정도의 해석가능성을 제공하는가?
• RQ4 표준 벤치마크와 혼동 데이터셋에서의 성능 차이는 어떠한가?

주요 결과

• 혼동 데이터셋에서 이 방법은 베이스라인을 크게 능가하며, 원시 이미지 특징 대비 평균 약 19 퍼센트 포인트의 향상을 보인다.
• 강한 혼동 요인을 가진 도전적 데이터셋에서 이 접근법은 ERM, Fish, LISA 및 BioViL 특징보다 잘못된 상관관계를 더 잘 완화한다.
• 명시적 혼동 요인이 없는 표준 벤치마크에서 이 방법은 순수 시각 인코더 및 기존 CBM과 비교해 경쟁력 있거나 우수한 성능을 보인다.
• 최종 계층 가중치를 통해 개념의 중요성을 보여주고 인스턴스별 개념 기여를 시각화하는 방식으로 해석가능성을 제공한다.
• GPT-4 유래 개념이 핵심 데이터셋에서 다른 개념 세트(ChatGPT, MIMIC-GPT4, Human)보다 정확도 면에서 우수하다.