[논문 리뷰] CheXplaining in Style: Counterfactual Explanations for Chest X-rays using StyleGAN

Matan Atad, Vitalii Dmytrenko외 7명|arXiv (Cornell University)|2022. 07. 15.

Radiomics and Machine Learning in Medical Imaging인용 수 5

한 줄 요약

이 논문은 흉부 X-ray 진단을 위한 임상적으로 관련성이 높은 반성적 설명을 생성하기 위해 StyleGAN 기반의 잠재공간 조작을 사용하는 StyleEx를 제안한다. EigenFind—PCA 기반의 잠재공간 인과 분해 기법을 도입함으로써, 반성적 탐색 시간을 수시간에서 수분으로 단축하면서도 높은 임상적 관련성을 유지한다. 이는 방사선 전문의의 평가를 통해 검증되었으며, 생성된 특징 변화가 실제 병리학적 징후와 일치함을 확인하였다.

ABSTRACT

Deep learning models used in medical image analysis are prone to raising reliability concerns due to their black-box nature. To shed light on these black-box models, previous works predominantly focus on identifying the contribution of input features to the diagnosis, i.e., feature attribution. In this work, we explore counterfactual explanations to identify what patterns the models rely on for diagnosis. Specifically, we investigate the effect of changing features within chest X-rays on the classifier's output to understand its decision mechanism. We leverage a StyleGAN-based approach (StyleEx) to create counterfactual explanations for chest X-rays by manipulating specific latent directions in their latent space. In addition, we propose EigenFind to significantly reduce the computation time of generated explanations. We clinically evaluate the relevancy of our counterfactual explanations with the help of radiologists. Our code is publicly available.

연구 동기 및 목표

• 딥 러닝 모델의 투명성 부족 문제를 해결하기 위해, 모델 예측를 변경할 수 있는 이미지 변화를 드러내는 반성적 설명을 생성함으로써 의료 영상 분야에서의 모델 투명성을 향상시키는 것.
• 흉부 X-ray에서 반성적 설명 생성을 위한 분류기 특화 잠재 방향을 찾는 데 있어 계산 효율성을 향상시키는 것.
• 전문 방사선의 평가를 통해 생성된 반성적 설명의 임상적 관련성을 검증하는 것.
• StyleGAN을 통한 잠재공간 조작이 의미 있는, 진단적으로 관련성이 높은 이미지 특징을 드러낼 수 있음을 보여주는 것.

제안 방법

• CheXpert 데이터셋에 대해 훈련된 조건부 StyleGAN2 생성자와 함께, 특정 진단 레이블을 갖는 이미지를 생성하기 위해 분류기 예측에 조건을 부여한다.
• 실제 X-ray 이미지를 StyleGAN 잠재공간으로 매핑하기 위해 고정된 DenseNet 분류기를 사용한다.
• PCA를 사용하여 잠재공간을 인과 분해함으로써 영향력이 가장 큰 방향(고유벡터)을 식별하고, EigenFind를 통해 효율적인 반성적 탐색을 가능하게 한다.
• 목표 진단에 해당하는 상위 고유벡터를 따라 잠재 코드를 변형함으로써 반성적 이미지를 생성하며, 이는 의미적으로 변화되었지만 시각적으로 타당한 이미지가 된다.
• 의학적으로 의미 있는 특징 변화를 우선시하는 수정된 탐색 알고리즘을 사용하여 분류기 특화 잠재 방향을 발견한다.
• 경로 길이 및 R1 정규화를 사용하여 전체 파ipeline를 엔드 투 엔드로 훈련함으로써 훈련 안정성과 생성 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 StyleGAN의 잠재공간 조작을 통해 생성된 반성적 설명이 흉부 X-ray 분류에 있어 진단적으로 의미 있는 이미지 변화를 드러낼 수 있는가?
• RQ2 분류기 특화 잠재 방향을 탐색하는 데 드는 계산 비용을 설명 품질을 희생시키지 않고 어떻게 줄일 수 있는가?
• RQ3 생성된 반성적 설명의 특징 변화가 전문 방사선의에게 임상적으로 관련성 있고 인식 가능한가?
• RQ4 반성적 생성을 통해 특정 해부학적 지표(예: pace maker, 연령 관련 특징)를 해당 병리와 연관지킬 수 있는가?

주요 결과

• EigenFind는 AttFind와 유사한 반성적 생성 성능(3개 병리에 대해 94–96% 성공률)을 달성했지만, Tesla P100 GPU에서 탐색 시간을 12시간에서 단 5분으로 단축시켰다.
• 방사선 전문의는 EigenFind가 생성한 가장 중요한 고유벡터가 심장폐비율 증가, 복부 빈도 차단, 종격막 이동 등의 핵심 병리학적 징후를 효과적으로 강조함을 확인했다.
• 생성된 반성적 이미지들은 알려진 임상 징후를 정확히 반영했으며, 심장 비대, 흉막 출혈, 종격막 이동 등의 변화가 시각적으로나 임상적으로 타당했다.
• 모델은 패혈성 심장비대와 연관된 간접적 지표인 패혈성 심장비대와 연령 관련 특징을 인식함으로써 임상적으로 관련성이 높은 패tern을 잘 포착함을 보였다.
• 이 방법은 3개 병리에 대해 테스트 이미지의 91–96%에서 반성적 이미지를 성공적으로 생성했으며, 이는 높은 신뢰성과 일반화 능력을 나타낸다.
• 잠재공간 내 PCA 기반의 인과 분해를 사용함으로써, 모델 예측에 가장 영향을 미치는 특징을 효율적이고 해석 가능한 방식으로 식별할 수 있었다.