[논문 리뷰] Adversarial Attacks Against Medical Deep Learning Systems

Samuel G. Finlayson, Chung, Hyung Won외 2명|arXiv (Cornell University)|2018. 04. 15.

Adversarial Robustness in Machine Learning참고 문헌 64인용 수 109

한 줄 요약

이 논문은 의학 딥러닝 분류기가 세 가지 영역에서 화이트박스, 블랙박스, 그리고 적대적 패치 공격에 취약함을 보여주며, 의료 AI 배치에서의 실용적 보안 위험을 강조한다.

ABSTRACT

The discovery of adversarial examples has raised concerns about the practical deployment of deep learning systems. In this paper, we demonstrate that adversarial examples are capable of manipulating deep learning systems across three clinical domains. For each of our representative medical deep learning classifiers, both white and black box attacks were highly successful. Our models are representative of the current state of the art in medical computer vision and, in some cases, directly reflect architectures already seeing deployment in real world clinical settings. In addition to the technical contribution of our paper, we synthesize a large body of knowledge about the healthcare system to argue that medicine may be uniquely susceptible to adversarial attacks, both in terms of monetary incentives and technical vulnerability. To this end, we outline the healthcare economy and the incentives it creates for fraud and provide concrete examples of how and why such attacks could be realistically carried out. We urge practitioners to be aware of current vulnerabilities when deploying deep learning systems in clinical settings, and encourage the machine learning community to further investigate the domain-specific characteristics of medical learning systems.

연구 동기 및 목표

• 의료 딥러닝 분류기에 대한 적대적 공격의 가능성을 평가한다.
• 화이트박스와 블랙박스 공격이 임상 과제에서 모델 성능에 미치는 영향을 특징짓는다.
• 적대적 조작을 가능하게 하는 건강관리 특유의 인센티브와 시스템 취약점을 논의한다.

제안 방법

• 공개 데이터셋에서 사전 학습된 ResNet-50을 미세조정하여 세 가지 최첨단 의료 분류기(당뇨병성 망막증, 기흉, 흑색종)를 학습시킨다.
• ℓ∞ 교란 하에서 화이트박스 및 블랙박스 프로젝티드 그래디언트 디센트(PGD) 공격을 구현하여 인간이 알아차리기 어려운 적대적 예시를 만든다.
• 다양한 변환과 위치에서 훈련된 패치를 사용하여 보편적(유니버설) 적대적 패치 공격을 개발·테스트한다.
• 자연 패치Baseline과 비교하여 상대적 공격 효과를 평가한다.
• 재현성을 위한 코드 공개(GitHub).

실험 결과

연구 질문

• RQ1 화이트박스 및 블랙박스 적대적 공격이 의학 DL 분류기의 성능을 유의하게 저하시킬까?
• RQ2 의료 영상 작업에서 보편적(유니버설) 적대적 패치가 픽셀 수준 교란이나 자연 패치보다 더 강력한가?
• RQ3 의료 파이프라인의 어떤 조직적·기술적 요인이 적대적 공격에 대한 취약성에 기여하는가?
• RQ4 임상 환경에서 이러한 공격의 실질적 위험을 줄일 수 있는 방어책이나 인프라적 완화책은 무엇인가?

주요 결과

• 화이트박스 PGD 공격은 모든 작업에서 AUROC를 0.000으로, 정확도를 0%로 떨어뜨릴 수 있다.
• 블랙박스 PGD 공격은 작업에 따라 AUROC가 < 0.10, 정확도가 최대 37.9%까지 도달한다.
• 적대적 패치(화이트박스)는 AUROC를 0.000으로, 정확도를 모든 작업에서 1% 미만으로 감소시킨다.
• 블랙박스 적대적 패치는 AUROC가 < 0.005, 정확도가 <10%로 감소시킨다.
• 자연 패치는 현저히 더 나은 성능을 보이며, AUROC 0.48–0.83 및 정확도 67.5%–92.1%가 임상 과제 전반에 걸쳐 나타난다.
• 기준선 깨끗한 성능은 이 데이터셋에 대한 출판 결과와 일치한다(예: AUROC 약 0.86–0.94).