[논문 리뷰] Confounder-Aware Visualization of ConvNets

Qingyu Zhao, Ehsan Adeli외 3명|arXiv (Cornell University)|2019. 07. 30.

Cell Image Analysis Techniques참고 문헌 12인용 수 6

한 줄 요약

이 논문은 신경망에서 임의의 영향을 미치는 변수(예: 연령, 발달 단계)의 영향을 제거하는 혼란 변수 인식 시각화 방법을 제안한다. 이는 saliency 맵에서 비합리적인 영향을 제거하기 위해 단변량 통계적 검정을 통해 혼란 변수가 영향을 미치는 특징를 탐지하고, 새로운 부분 역전파 기법을 사용해 그 영향을 억제함으로써 진단에 특화된 편향 없는 saliency 맵을 생성한다. 이는 뇌 영상 연구에서 진정한 질병 관련 뇌 변화를 더 잘 반영한다.

ABSTRACT

With recent advances in deep learning, neuroimaging studies increasingly rely on convolutional networks (ConvNets) to predict diagnosis based on MR images. To gain a better understanding of how a disease impacts the brain, the studies visualize the salience maps of the ConvNet highlighting voxels within the brain majorly contributing to the prediction. However, these salience maps are generally confounded, i.e., some salient regions are more predictive of confounding variables (such as age) than the diagnosis. To avoid such misinterpretation, we propose in this paper an approach that aims to visualize confounder-free saliency maps that only highlight voxels predictive of the diagnosis. The approach incorporates univariate statistical tests to identify confounding effects within the intermediate features learned by ConvNet. The influence from the subset of confounded features is then removed by a novel partial back-propagation procedure. We use this two-step approach to visualize confounder-free saliency maps extracted from synthetic and two real datasets. These experiments reveal the potential of our visualization in producing unbiased model-interpretation.

연구 동기 및 목표

• 진단 대상이 아닌 혼란 변수(예: 연령, 발달 단계)가 saliency 맵의 주요 뇌 영역에 영향을 미치는 경우가 많은 ConvNet 기반 뇌 영상 연구에서의 혼란 변수 문제를 해결하기 위해.
• 재학습 없이도 훈련된 ConvNet 내의 혼란 변수가 영향을 미치는 중간 특징을 식별하고 그 영향을 제거하는 사후 처리 방법을 개발하기 위해.
• 혼란 변수의 영향을 분리함으로써 진단에 특화된 뇌 변화를 더 정확하고 해석 가능한 방식으로 시각화할 수 있도록 하기 위해.
• 합성 데이터와 두 가지 실제 뇌 영상 데이터셋( HIV/대조군 및 청소년기 성별 이질성)에서 방법의 유효성을 검증하기 위해.
• 혼란 변수가 제거된 saliency 맵이 연령이나 발달 단계가 아닌 진단과 관련된 생물학적으로 타당한 뇌 영역을 드러내는가를 입증하기 위해.

제안 방법

• 모든 훈련 이미지의 각 중간 특징에 대해 단변량 일반선형모형(GLM)을 적용하여 혼란 변수의 영향을 검증하고, 그룹 레이블과 혼란 변수(예: 연령, PDS)를 예측 변수로 사용한다.
• 각 특징에 대해 혼란 변수 계수의 통계적 유의성(p-value)을 평가하여 유의미한 혼란 변수 영향을 가진 특징을 식별한다.
• 혼란 변수가 영향을 미치는 특징의 기여도를 효과적으로 제거하기 위해, 혼란 변수가 아닌 특징들에 대해서만 역전파를 수행하는 새로운 '부분 역전파' 절차를 수행한다.
• 혼란 변수 특징의 값을 기울기 계산 중에 고정하는 모델 재구성 기법을 통해 부분 역전파를 구현함으로써 혼란 변수가 없는 saliency를 효율적으로 계산한다.
• 결과로 도출된 혼란 변수가 없는 saliency 맵을 사용하여 시각화를 수행하고, 표준 뇌 템플릿(SRI24 등)에 오버랩하여 질병 관련 뇌 변화를 해석한다.
• 이 방법을 혼란 변수가 알려진 합성 데이터와 두 가지 실제 뇌 영상 데이터셋(HIV/대조군 및 청소년기 성별 이질성)에 적용한다.

실험 결과

연구 질문

• RQ1 ConvNet 기반 뇌 영상에서 기존의 saliency 맵이 진정한 질병 관련 뇌 변화를 반영하는 정도는 어느 정도이며, 연령이나 발달 단계와 같은 혼란 변수의 영향을 얼마나 많이 받는가?
• RQ2 중간 특징에 대한 단변량 통계적 검정이 딥러닝 모델의 saliency 맵을 왜곡시키는 혼란 변수 영향을 탐지할 수 있는가?
• RQ3 제안된 부분 역전파 절차가 혼란 변수의 영향을 효과적으로 제거하면서도 진단에 특화된 신호는 유지하는가?
• RQ4 혼란 변수가 제거된 saliency 맵은 기존의 saliency 맵과 비교해 HIV 관련 뇌 위축과 성별 이질성에 대해 생물학적으로 타당한 뇌 영역을 얼마나 더 잘 드러내는가?
• RQ5 이 방법은 연령이나 발달 단계와 같은 혼란 변수가 존재하는 다른 뇌 영상 작업으로 일반화될 수 있는가?

주요 결과

• HIV/대조군 데이터셋에서 4,096개의 중간 특징 중 804개가 연령에 의해 유의미하게 혼란되어 있음을 발견하여, 노화의 영향이 모델 예측에 강하게 작용함을 시사한다.
• 연령 관련 혼란 영향을 제거한 후 후두부비후엽 영역의 saliency가 감소함을 확인하였으며, 이는 알려진 연령 관련 비후엽 확장과 일치하여 원래의 saliency 맵이 이 영역에서 HIV 영향을 과대평가하고 있음을 시사한다.
• HIV/대조군에 대한 혼란 변수가 없는 saliency 맵은 경색 부위인 꼬리상핵 및 측두엽에서 더 생물학적으로 타당한 양측성 패atters의 위축을 드러내었으며, 기존 신경해부학적 발견과 일치한다.
• 청소년기 성별 이질성 연구에서, 발달 단계(PDS) 영향을 제거한 후 꼬리상핵 영역의 saliency가 감소함을 관찰하여 이 영역에서 PDS의 영향이 누적되어 있음을 시사한다.
• 성별 이질성에 대한 혼란 변수가 없는 saliency 맵은 측두엽이 주요 성차 영역임을 강조하였으며, 청소년기 뇌 발달에 관한 기존 문헌과 일치한다.
• HIV/대조군 데이터셋에서 73%의 정규화된 정확도를 달성하였고, NCANDA 데이터셋에서는 89.5%를 기록하여, 편향 없는 해석이 가능하면서도 효과적인 모델 성능을 입증하였다.