[논문 리뷰] Practical Fast Gradient Sign Attack against Mammographic Image Classifier

Ibrahim Yilmaz|arXiv (Cornell University)|2020. 01. 27.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 8

한 줄 요약

이 논문은 딥 컨volution 신경망(CNN)을 사용한 유방 조영 사진 분류기에서 Fast Gradient Sign Method (FGSM) 적대적 공격의 첫 실용적 적용을 제시한다. 양성 유방 조영 사진에 작은, 눈에 띄지 않는 교란을 가하여 공격을 수행함으로써, 악성 종양 사례를 양성으로 잘못 분류하게 하였으며, 구조적 유사도 지수(SSIM) 분석을 통해 고도의 교란 수준에서도 시각적 왜곡이 최소화되었음을 확인하였다.

ABSTRACT

Artificial intelligence (AI) has been a topic of major research for many years. Especially, with the emergence of deep neural network (DNN), these studies have been tremendously successful. Today machines are capable of making faster, more accurate decision than human. Thanks to the great development of machine learning (ML) techniques, ML have been used many different fields such as education, medicine, malware detection, autonomous car etc. In spite of having this degree of interest and much successful research, ML models are still vulnerable to adversarial attacks. Attackers can manipulate clean data in order to fool the ML classifiers to achieve their desire target. For instance; a benign sample can be modified as a malicious sample or a malicious one can be altered as benign while this modification can not be recognized by human observer. This can lead to many financial losses, or serious injuries, even deaths. The motivation behind this paper is that we emphasize this issue and want to raise awareness. Therefore, the security gap of mammographic image classifier against adversarial attack is demonstrated. We use mamographic images to train our model then evaluate our model performance in terms of accuracy. Later on, we poison original dataset and generate adversarial samples that missclassified by the model. We then using structural similarity index (SSIM) analyze similarity between clean images and adversarial images. Finally, we show how successful we are to misuse by using different poisoning factors.

연구 동기 및 목표

• 딥 러닝 기반의 유방 조영 사진 분류기가 적대적 공격에 취약함을 입증하기 위해.
• 실제 유방 조영 사진에 대해 Fast Gradient Sign Method (FGSM)를 사용하여 적대적 예제를 생성하는 것의 실현 가능성과 효과성을 평가하기 위해.
• 구조적 유사도 지수(SSIM)를 사용하여 원본 이미지와 적대적 이미지 간의 지각 유사도를 분석하기 위해.
• 교란 계수(에프실론 값)의 변화가 모델의 강건성과 이미지 품질에 미치는 영향을 조사하기 위해.
• 강건성 검증 없이 AI 모델을 도입할 경우의 위험성을 방사선과학자들과 임상의들에게 인식시키기 위해.

제안 방법

• 양성 및 악성 유방 조영 사진 데이터셋을 기반으로 CNN 기반의 유방 조영 사진 분류기를 훈련시었다.
• 입력 이미지에 작은, 타겟된 교란을 추가하여 적대적 예제를 생성하기 위해 Fast Gradient Sign Method (FGSM)를 적용하였다.
• 교란을 제한하기 위해 L-infinity 노름을 사용하였으며, 에프실론 값은 높은 범위와 낮은 범위로 다양하게 설정하여 강건성 평가를 수행하였다.
• 원본 이미지와 적대적 이미지 간의 지각 유사도를 정량적으로 측정하기 위해 구조적 유사도 지수(SSIM)를 사용하였다.
• 다양한 에프실론 값에서 적대적 조건 하에서 모델 정확도를 평가하여 공격 성공률를 분석하였다.
• 교란 계수를 다양하게 설정하여 이미지 품질 저하와 모델 오분류 정도를 분석하기 위한 분리 연구를 수행하였다.

실험 결과

연구 질문

• RQ1 FGSM 공격는 유방 조영 사진을 악성으로 잘못 분류하거나 반대로 양성으로 잘못 분류할 수 있는 적대적 예제를 성공적으로 생성할 수 있는가?
• RQ2 교란의 크기(에프실론)가 유방 조영 사진 분류기에서 적대적 공격의 성공률에 어떤 영향을 미치는가?
• RQ3 SSIM로 측정했을 때, 적대적 이미지는 원본 이미지와 얼마나 시각적으로 유사한가?
• RQ4 공격 성공률는 높으면서도 높은 지각 품질을 유지하는 특정 에프실론 값이 존재하는가?
• RQ5 다양한 교란 수준에서 모델 성능이 일관되게 저하되는가? 이는 체계적인 취약성을 시사하는가?

주요 결과

• FGSM 공격는 유방 조영 사진 분류기에서 높은 성공률를 기록하였으며, 낮은 에프실론 값에서도 모델 정확도가 크게 떨어졌다.
• 높은 에프실론 값으로 생성된 적대적 예제는 높은 SSIM 점수를 유지하여, 심지어 큰 교란 수준에서도 시각적 왜곡이 최소화되었음을 나타냈다.
• 작은 에프실론 값에서도 공격가 심각한 오분류를 유도하여, 미세한 교란이 분류기의 판단을 속일 수 있음을 입증하였다.
• SSIM 분석을 통해 적대적 이미지가 원본 이미지와 시각적으로 구별되지 않음을 확인하였으며, 특히 낮은 에프실론 수준에서 두드러졌다.
• 공격는 넓은 범위의 에프실론 값에서 효과를 유지하여, 모델의 결정 경계에 지속적인 취약성이 있음을 시사하였다.
• 본 연구는 현재 유방암 분류를 위한 딥 러닝 모델이 눈에 띄는 시각적 신호 없이도 적대적 조작에 매우 취약하다는 것을 입증하였다.