[논문 리뷰] Vulnerability Analysis of Chest X-Ray Image Classification Against Adversarial Attacks

Saeid Asgari Taghanaki, Arkadeep Das외 1명|arXiv (Cornell University)|2018. 07. 09.

Adversarial Robustness in Machine Learning참고 문헌 23인용 수 4

한 줄 요약

이 논문은 흉부 X-ray 영상 분류에 대해 최신 딥러닝 모델 두 종류인 Inception-ResNet-v2와 Nasnet-Large의 공격에 대한 취약성을 백색상자 및_BLK 백색상자 설정에서 10종의 적대적 공격에 대해 평가한다. 그 결과, 기울기 기반 공격이 가장 효과적이며, 최대 풀링을 평균 풀링으로 교체하면 특히 의사결정 및 점수 기반 공격에 대해 강건성이 크게 향상됨을 발견했으며, 평균 풀링을 사용하는 Nasnet-Large는 18% 높은 강건성을 보였다.

ABSTRACT

Recently, there have been several successful deep learning approaches for automatically classifying chest X-ray images into different disease categories. However, there is not yet a comprehensive vulnerability analysis of these models against the so-called adversarial perturbations/attacks, which makes deep models more trustful in clinical practices. In this paper, we extensively analyzed the performance of two state-of-the-art classification deep networks on chest X-ray images. These two networks were attacked by three different categories (ten methods in total) of adversarial methods (both white- and black-box), namely gradient-based, score-based, and decision-based attacks. Furthermore, we modified the pooling operations in the two classification networks to measure their sensitivities against different attacks, on the specific task of chest X-ray classification.

연구 동기 및 목표

• 딥러닝 모델이 흉부 X-ray 분류에 대해 적대적 편향에 얼마나 취약한지 평가하기.
• 기울기 기반, 점수 기반, 의사결정 기반 공격 유형의 다양성이 의료 영상 모델에 미치는 영향을 평가하기.
• 풀링 연산 방식(최대 풀링 대비 평균 풀링)을 변경함으로써 모델의 강건성이 향상되는지 조사하기.
• ChestX-ray14 데이터셋에서 백색상자 및 블랙박스 공격 시나리오에서의 모델 성능을 비교하기.
• 적대적 예외가 인간 관찰자에게 얼마나 눈에 띄는지와 임상적 신뢰에 미치는 영향을 검토하기.

제안 방법

• ChestX-ray14 데이터셋에서 최신 모델 두 종류인 Inception-ResNet-v2와 Nasnet-Large를 훈련 및 평가하였다.
• 기울기 기반(예: FGSM, PGD, DeepFool, Linf-BIM, L-BFGS), 점수 기반(예: Local Search, Single Pixel), 의사결정 기반(예: Gaussian Blur, Contrast Reduction, Additive Gaussian Noise)의 3개 유형으로 총 10종의 적대적 공격 방법을 적용하였다.
• 공격 생성과 분류에 동일한 모델을 사용하는 백색상자 공격과 서로 다른 모델을 사용하는 블랙박스 공격을 모두 수행하였다.
• 풀링 연산을 최대 풀링에서 평균 풀링으로 교체하여 적대적 편향에 대한 민감도를 평가하였다.
• 정확도(Acc.)와 ROC 곡선 아래 면적(AUROC)을 사용하여 정상 이미지 및 훼손된 이미지에서의 모델 성능을 측정하였다.
• 인간 평가 기준(명확함, 혼합, 어려움)을 사용하여 적대적 예외의 시각적 눈에 띄움 정도를 시각화하였다.

실험 결과

연구 질문

• RQ1 기울기 기반, 점수 기반, 의사결정 기반 적대적 공격가 흉부 X-ray 분류 모델에 대해 얼마나 효과적인가?
• RQ2 최대 풀링을 평균 풀링으로 교체하면 적대적 공격에 대한 모델 강건성이 향상되는가?
• RQ3 백색상자 공격 설정과 블랙박스 공격 설정에서 모델 성능은 어떻게 다르게 떨어지는가?
• RQ4 적대적 예외는 인간 관찰자에게 얼마나 눈에 띄는가, 그리고 이는 공격 성공률과 어떻게 관련이 있는가?
• RQ5 어느 공격 유형이 동시에 모델과 인간 인지까지 속일 수 있는가?

주요 결과

• 기울기 기반 공격(예: PGD, L-BFGS)은 백색상자 설정에서 거의 완전한 성공을 거두었으며, 두 모델 모두 정확도가 43–46%로 감소하였다.
• 평균 풀링은 강건성을 향상시켰다: 평균 풀링을 사용하는 Nasnet-Large는 최대 풀링 버전 대비 18% 더 높은 강건성을 보였다.
• 점수 기반 공격인 Local Search(S1)는 평균 풀링을 사용하는 Nasnet-Large에 대해 완전히 실패했으며, 이는 풀링 방식에 매우 민감한 것을 시사한다.
• 의사결정 기반 공격(예: Additive Gaussian Noise, Contrast Reduction)은 23–30%의 경우에서 인간에 의해 감지되었으며, 눈에 띄는 정도는 '혼합'에서 '명확함' 수준이었다.
• 기울기 기반 공격는 모델과 인간 관찰자 양쪽을 속이는 데 가장 효과적이었으며, 최대 풀링 기반 모델에서는 27%의 테스트 샘플이 실패했고, 평균 풀링 기반 모델에서는 23%의 실패율을 보였다.
• 블랙박스 설정에서도 기울기 기반 공격가 가장 효과적이었으며, 평균 풀링 모델은 특히 점수 기반 및 의사결정 기반 공격에 대해 더 높은 강건성을 보였다.