[논문 리뷰] Gifsplanation via Latent Shift: A Simple Autoencoder Approach to Progressive Exaggeration on Chest X-rays.

Joseph Cohen, Rupert Brooks외 5명|arXiv (Cornell University)|2021. 02. 18.

Radiomics and Machine Learning in Medical Imaging인용 수 3

한 줄 요약

이 논문은 흉부 X선의 잠재 표현을 점진적으로 과도하게 강조하거나 억제함으로써 분류기의 예측에 영향을 주는 특징을 조작하는 단순한 오토인코더 기반 방법인 Latent Shift를 제안한다. 방사선의사 독자 연구에서 Latent Shift는 참 양성 예측에 대한 사용자 신뢰도를 향상시켰다 (5점 척도에서 0.15±0.95, p=0.01), 거짓 양성 예측의 증가율은 최소 수준에 머물렀다 (0.04±1.06, p=0.57), 기존의 특성 기반 지apap도를 능가하였다.

ABSTRACT

Motivation: Traditional image attribution methods struggle to satisfactorily explain predictions of neural networks. Prediction explanation is important, especially in the medical imaging, for avoiding the unintended consequences of deploying AI systems when false positive predictions can impact patient care. Thus, there is a pressing need to develop improved models for model explainability and introspection. Specific Problem: A new approach is to transform input images to increase or decrease features which cause the prediction. However, current approaches are difficult to implement as they are monolithic or rely on GANs. These hurdles prevent wide adoption. Our approach: Given an arbitrary classifier, we propose a simple autoencoder and gradient update (Latent Shift) that can transform the latent representation of an input image to exaggerate or curtail the features used for prediction. We use this method to study chest X-ray classifiers and evaluate their performance. We conduct a reader study with two radiologists assessing 240 chest X-ray predictions to identify which ones are false positives (half are) using traditional attribution maps or our proposed method. Results: We found low overlap with ground truth pathology masks for models with reasonably high accuracy. However, the results from our reader study indicate that these models are generally looking at the correct features. We also found that the Latent Shift explanation allows a user to have more confidence in true positive predictions compared to traditional approaches (0.15$\pm$0.95 in a 5 point scale with p=0.01) with only a small increase in false positive predictions (0.04$\pm$1.06 with p=0.57). Accompanying webpage: this https URL Source code: this https URL

연구 동기 및 목표

• 의료 영상 분야에서 효과적이고 사용자 友好的인 모델 설명 방법의 부족, 특히 환자 치료에 영향을 줄 수 있는 거짓 양성 예측에 대응하기 위해.
• 일체형 또는 GAN 기반의 특성 기반 지도 방법의 한계를 극복하여 임상 AI 시스템에서 널리 보급되지 못하는 문제를 해결하기 위해.
• 모델 예측에 영향을 주는 특징을 과도하게 강조하거나 억제할 수 있도록 잠재 표현을 변형할 수 있는 단순하고 일반화 가능한 방법을 개발하기 위해.
• 제안된 방법이 방사선의사가 올바른 예측 특징을 식별하고 예측에 대한 자신감을 높이는 데 기여하는지 평가하기 위해.

제안 방법

• 입력 흉부 X선 영상의 압축된 잠재 표현을 학습하기 위해 트레이닝 가능한 오토인코더를 사용한다.
• 주어진 입력 영상의 잠재 코드를 예측 기울기 방향으로 경사 상승 또는 하강을 통해 업데이트하여 관련 특징을 강조하거나 억제한다.
• 재구성 손실을 통해 변형된 영상가 원본과 유사한 분포를 유지하고 해부학적으로 타당한 형태를 확보한다.
• 기존에 훈련된 분류기와 독립적으로 적용 가능하므로 모델에 종속되지 않으며 기존 파ip라인에 쉽게 통합할 수 있다.
• 예측 기울기 방향으로 잠재 코드를 반복적으로 이동시켜 점진적인 과도 강조를 달성한다.
• 결과로 생성된 영상은 사용자가 모델이 어떤 특징에 의존하는지 이해하는 데 도움이 되는 시각적 설명으로 사용된다.

실험 결과

연구 질문

• RQ1 Latent Shift와 같이 단순한 오토인코더 기반 방법이 기존의 특성 기반 지도 방법에 비해 흉부 X선 분류기의 해석 가능성 향상에 기여할 수 있는가?
• RQ2 Latent Shift는 참 양성 예측에 대한 방사선의사의 자신감을 높이는가?
• RQ3 Latent Shift는 관련 해부학적 특징을 강조함으로써 거짓 양성 예측의 오해를 어느 정도 감소시키는가?
• RQ4 신뢰도 향상의 원인이 더 나은 특징 국소화인지, 설명의 시각적 명확성 향상 때문인가?
• RQ5 이 방법은 해석 과정에서 거짓 양성 예측의 비율에 어떤 영향을 미치는가?

주요 결과

• 높은 정확도를 보이는 모델이라도 기존의 특성 기반 지도 방법은 진단 병변 마스크와 겹치는 부분이 매우 적었다.
• 진단 병변 마스크와의 겹침이 낮음에도 불구하고, Latent Shift를 사용한 방사선의사는 기존 방법보다 더 신뢰성 있게 올바른 예측 특징을 식별하였다.
• Latent Shift를 사용할 경우 참 양성 예측에 대한 방사선의사의 자신감이 유의미하게 높아졌다 (5점 척도에서 0.15±0.95, p=0.01).
• 이 방법은 거짓 양성 예측의 증가율이 매우 낮고 유의미하지 않은 수준이었으며 (0.04±1.06, p=0.57), 사용자를 오도할 위험은 최소한도였다.
• Latent Shift는 아키텍처 수정이나 복잡한 훈련 없이도 딥러닝 모델의 해석 가능성을 향상시켰다.
• 이 방법은 일반화 가능하며, 사전 훈련된 분류기라면 어떤 것에도 적용 가능하므로 의료 AI 시스템에서 널리 보급될 수 있다.