[논문 리뷰] Now You See It, Now You Dont: Adversarial Vulnerabilities in Computational Pathology

Alex Foote, Amina Asif외 4명|arXiv (Cornell University)|2021. 06. 14.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 8

한 줄 요약

이 논문은 계산 병리학 분야의 딥러닝 모델이 고도로 민감한 적대적 공격에 매우 취약하다는 것을 입증한다. 미세한 변화가 눈에 띄지 않게 가해져도 고도로 신뢰할 수 있는 정확도로 종양 분류 예측을 뒤집을 수 있다. AUC > 0.95를 달성한 모델들도 에너지가 매우 낮은 수준에서 개별 이미지에 특화된 공격과 일반화된 적대적 편향을 통해 속임을 당할 수 있으며, 이는 임상 적용에 있어 심각한 안전성 문제를 제기한다.

ABSTRACT

Deep learning models are routinely employed in computational pathology (CPath) for solving problems of diagnostic and prognostic significance. Typically, the generalization performance of CPath models is analyzed using evaluation protocols such as cross-validation and testing on multi-centric cohorts. However, to ensure that such CPath solutions are robust and safe for use in a clinical setting, a critical analysis of their predictive performance and vulnerability to adversarial attacks is required, which is the focus of this paper. Specifically, we show that a highly accurate model for classification of tumour patches in pathology images (AUC > 0.95) can easily be attacked with minimal perturbations which are imperceptible to lay humans and trained pathologists alike. Our analytical results show that it is possible to generate single-instance white-box attacks on specific input images with high success rate and low perturbation energy. Furthermore, we have also generated a single universal perturbation matrix using the training dataset only which, when added to unseen test images, results in forcing the trained neural network to flip its prediction labels with high confidence at a success rate of > 84%. We systematically analyze the relationship between perturbation energy of an adversarial attack, its impact on morphological constructs of clinical significance, their perceptibility by a trained pathologist and saliency maps obtained using deep learning models. Based on our analysis, we strongly recommend that computational pathology models be critically analyzed using the proposed adversarial validation strategy prior to clinical adoption.

연구 동기 및 목표

• 높은 진단 정확도를 보이는 최신 계산 병리학 모델이 적대적 공격에 얼마나 취약한지 조사하기.
• 일반인과 숙련된 병리의사가 적대적 편향을 얼마나 쉽게 감지할 수 있는지 평가하기.
• 편향 에너지, 조직 구조의 형태학적 변화, 활성도 지도의 변화 간의 관계 분석하기.
• 임상용 AI 모델을 위한 적대적 내성 평가 전략 개발 및 검증하기.
• CPath 시스템의 임상 적용 이전에 적대적 검증을 필수 조건으로 주장하기.

제안 방법

• 최소한의 편향을 생성하기 위해 기울기 기반 최적화를 사용해 편향된 페치 분류 모델에 흰 상자 공격 적용하기.
• 학습 데이터셋에서 단일 일반 편향 매트릭스를 학습하여 미리 보지 않은 테스트 이미지에 적용 가능하도록 하기.
• 숙련된 병리의사의 시각적 감지 능력을 평가하기 위해 인지 평가 수행하여 적대적 예시의 시각적 가시성 평가하기.
• 임상적 관련성 지표를 사용해 편향이 유도한 조직 구조의 형태학적 변화 분석하기.
• 원본 입력과 적대적 입력에서 생성한 활성도 지도를 비교 분석하여 주의 분포의 이동 연구하기.
• 여러 테스트 이미지에서 공격 성공률과 편향 에너지(L2 노름) 평가하기.

실험 결과

연구 질문

• RQ1 매우 정확한 계산 병리학 모델이 눈에 띄지 않는 적대적 편향에 의해 신뢰성 있게 속임을 당할 수 있는가?
• RQ2 숙련된 병리의사가 적대적 편향을 어느 정도 감지할 수 있는가?
• RQ3 적대적 편향의 에너지가 조직 구조의 형태학적 변화와 어떻게 관련되어 있는가?
• RQ4 단일 일반 편향이 다양한 테스트 이미지에서 모델 예측을 뒤집는 데 성공할 확률은 얼마인가?
• RQ5 원본 입력과 적대적 입력 간의 활성도 지도는 어떻게 다름으로써 모델의 주의 분포 이동을 어떻게 나타내는가?

주요 결과

• AUC > 0.95를 달성한 매우 정확한 모델이 낮은 에너지로도 단일 인스턴스 화이트박스 편향을 통해 높은 성공률로 공격에 성공했다.
• 일반 편향 매트릭스는 미리 보지 않은 테스트 이미지에서 예측 뒤집기 성공률가 84% 이상을 기록했으며, 눈에 띄지 않는 상태를 유지했다.
• 일반인과 숙련된 병리의사 모두에게 적대적 편향이 눈에 띄지 않아 시각적 감지 가능성은 매우 낮았다.
• 낮은 에너지의 편향에도 조직 구조에 심각한 형태학적 변화가 유도되어 임상적 안전성에 대한 우려를 제기했다.
• 활성도 지도에서 원본 입력과 적대적 입력 간에 주의 분포가 크게 이동하여 모델의 추론이 신뢰할 수 없음을 시사했다.
• 표준 평가 프로토콜인 교차 검증만으로는 적대적 공격에 대한 내성을 보장할 수 없음을 이 연구가 입증했다.