[논문 리뷰] Interpretation of Disease Evidence for Medical Images Using Adversarial Deformation Fields

Ricardo Bigolin Lanfredi, Joyce Schroeder외 2명|arXiv (Cornell University)|2020. 07. 03.

Cell Image Analysis Techniques참고 문헌 41인용 수 8

한 줄 요약

이 논문은 병변이 있는 의료 영상이 건강한 영상으로 변형되는 변형 영역을 생성하는 적대적으로 훈련된 생성 네트워크를 사용하는 DeFI-GAN이라는 새로운 방법을 제안한다. 이를 통해 공간적으로 질병 증거를 드러내며, 종단적 영상 검증에서 기준 방법보다 뛰어난 성능을 보이며, 전통적인 방법으로는 감지할 수 없는 임상적으로 유의미한 생체지표와 잠재적 데이터셋 편향을 밝혀낸다.

ABSTRACT

The high complexity of deep learning models is associated with the difficulty of explaining what evidence they recognize as correlating with specific disease labels. This information is critical for building trust in models and finding their biases. Until now, automated deep learning visualization solutions have identified regions of images used by classifiers, but these solutions are too coarse, too noisy, or have a limited representation of the way images can change. We propose a novel method for formulating and presenting spatial explanations of disease evidence, called deformation field interpretation with generative adversarial networks (DeFI-GAN). An adversarially trained generator produces deformation fields that modify images of diseased patients to resemble images of healthy patients. We validate the method studying chronic obstructive pulmonary disease (COPD) evidence in chest x-rays (CXRs) and Alzheimer's disease (AD) evidence in brain MRIs. When extracting disease evidence in longitudinal data, we show compelling results against a baseline producing difference maps. DeFI-GAN also highlights disease biomarkers not found by previous methods and potential biases that may help in investigations of the dataset and of the adopted learning methods.

연구 동기 및 목표

• 의료 영상에 대한 딥러닝 모델에서 질병 증거에 대한 세밀하고 공간적으로 일관된 설명이 부족한 문제를 해결하기 위해.
• 기존의 시각적 기여도 방법은 종종 너무粗, 노이즈가 많거나 질병으로 인한 해부학적 형태와 크기 변화를 올바르게 표현하지 못하는 한계를 극복하기 위해.
• 질병이 어떻게 식별되는지 드러내기 위해 현실적이고 공간적으로 의미 있는 변형을 생성하는 방법을 개발하기 위해.
• 종단적 데이터를 사용하여 흉부 X선에서 만성 폐쇄성 폐질환(COPD)과 뇌 MRI에서 알츠하이머병(AD)에 대해 방법을 검증하기 위해.
• 변형 영역 해석을 통해 잠재적 모델 편향과 임상적으로 관련성이 있는 생체지표를 식별하기 위해.

제안 방법

• DeFI-GAN은 생성 적대망(GAN) 프레임워크를 사용하며, 생성자(generator)가 병변이 있는 영상(x1)을 건강해 보이는 수정된 영상(x̂0)으로 변형하는 변형 영역을 생성한다.
• 생성자 G는 입력 영상 x1을 벡터장 φ로 매핑하고, 수정된 영상은 이중선형/삼중선형 보간을 통해 계산된다: x̂0(p) = x1(p + φ(p)).
• 비평가(critic) D는 실제 건강한 영상(x0)과 생성된 수정된 영상(x̂0)을 구별하도록 훈련되며, WGAN 손실 공식을 사용하여 훈련 안정성을 확보한다.
• 기울기 페널티(LRegD)는 WGAN가 요구하는 리프시츠 제약 조건을 강제하여 훈련 수렴을 향상시킨다.
• 전체 변화도 정규화(LRegG)는 복잡하고 비현실적인 변형을 방지하여 매끄럽고 해부학적으로 타당한 영역 출력을 촉진한다.
• 전체 최적화는 생성자에 대해 LG + λRegG·LRegG, 비평가에 대해 LD + λRegD·LRegD의 병합 손실을 최소화한다.

실험 결과

연구 질문

• RQ1 기존의 시각적 기여도 방법에 비해 변형 영역이 의료 영상 내 질병 증거에 대해 더 정확하고 공간적으로 일관된 해석을 제공할 수 있는가?
• RQ2 VA-GAN과 같은 기준 방법에 비해 DeFI-GAN이 종단적 예측 성능을 향상시키는가?
• RQ3 차이 맵 기반 방법으로는 놓친, 변형 영역 분석을 통해 드러나는 임상적으로 관련성이 있는 생체지표나 놀라운 편향은 무엇인가?
• RQ4 Additive perturbation 기반 방법에 비해 DeFI-GAN이 생성한 변형 영역는 해석 가능성과 해부학적 타당성에서 어떻게 비교되는가?
• RQ5 DeFI-GAN은 전통적으로 방사선 검사 보고서에서 강조되지 않는 미세하고 직관적이지 않은 해부학적 변화를 강조할 수 있는가?

주요 결과

• DeFI-GAN은 VA-GAN 기준 방법보다 종단적 영상 검증에서 뛰어난 성능을 보였으며, COPD 데이터셋에서 평균 NCC 점수 0.825, ADNI 데이터셋에서 0.781을 기록하여 수정된 영상이 건강한 영상과 더 잘 일치함을 나타냈다.
• VA-GAN이 노이즈가 많고 현실감이 떨어지는 차이 맵을 생성하는 데 비해, DeFI-GAN은 더 매끄럽고 공간적으로 일관된 변형 영역을 생성했다.
• DeFI-GAN은 기존에 알려진 COPD 생체지표인 기관지 협착(검은칼럼 기관지), 횡격막 상승, 연조직 두꺼움을 효과적으로 강조했으며, 이는 VA-GAN 출력에 비해 더 명확히 드러났다.
• 의외이지만 임상적으로 유의미한 변화로는 위장 바이블 크기 감소와 고정된 어깨 위치 증가가 확인되었으며, 이는 환자 위치 조절 편향이나 골다공로시와 같은 합병증을 반영할 수 있다.
• AD 환자에서 해마, 전두엽 후부, 소뇌, 뇌간의 위축이 확인되었고, 이는 알려진 신경퇴행성 패tern과 일치하며, 미세한 뇌실 확장도 강조되었다.
• DeFI-GAN은 폐상부 부피 변화와 어깨 위치 변화와 같은 잠재적 데이터셋 편향을 드러내었으며, 이는 촬영 기술적 오류나 기침, 이동성 문제 등의 환자 관련 요인에서 기인할 수 있다.