[논문 리뷰] A reading survey on adversarial machine learning: Adversarial attacks and their understanding

Shashank Kotyan|arXiv (Cornell University)|2023. 08. 07.

Adversarial Robustness in Machine LearningComputer Science인용 수 3

한 줄 요약

이 종합적 서베이는 딥러닝에서의 적대적 공격을 여러 관점에서 체계적으로 분류하며, 그 메커니즘, 취약점, 그리고 한계를 분석한다. 기존의 방어 기법을 검토하고, 강건성 부족과 이론적 이해 부족과 같은 핵심 과제를 밝히며, 적응형 공격, 블랙박스 분석, 사전 방어 프레임워크와 같은 향후 연구 방향을 제시한다.

ABSTRACT

Deep Learning has empowered us to train neural networks for complex data with high performance. However, with the growing research, several vulnerabilities in neural networks have been exposed. A particular branch of research, Adversarial Machine Learning, exploits and understands some of the vulnerabilities that cause the neural networks to misclassify for near original input. A class of algorithms called adversarial attacks is proposed to make the neural networks misclassify for various tasks in different domains. With the extensive and growing research in adversarial attacks, it is crucial to understand the classification of adversarial attacks. This will help us understand the vulnerabilities in a systematic order and help us to mitigate the effects of adversarial attacks. This article provides a survey of existing adversarial attacks and their understanding based on different perspectives. We also provide a brief overview of existing adversarial defences and their limitations in mitigating the effect of adversarial attacks. Further, we conclude with a discussion on the future research directions in the field of adversarial machine learning.

연구 동기 및 목표

• 공격 유형, 위협 모델, 최적화 방법 등의 다양한 관점에 따라 적대적 공격을 체계적으로 분류하기 위해.
• 현재의 적대적 방어 기법의 한계를 분석하여, 특히 다양한 공격 유형 간 일관성과 일반화 부족을 강조하기 위해.
• 딥러닝 모델의 취약성과 최적화 문제의 이론적 비가역성 등 적대적 기계학습 분야의 핵심 과제를 규명하기 위해.
• 적응형 공격, 블랙박스 평가, 사전 방어 메커니즘과 같은 향후 연구 방향을 제안하기 위해.
• 연구자들이 적대적 취약성과 실제 세계의 AI 안전성 및 보안에 대한 영향을 체계적으로 이해할 수 있도록 지원하기 위해.

제안 방법

• 2013년부터 2020년까지 발표된 적대적 공격 및 방어 기법에 대한 체계적 문헌 조사 수행.
• 공격 유형(기피 공격 대 포isoning 공격), 화이트박스 대 블랙박스, 타겟 공격 대 비타겟 공격 등의 차원에 따라 적대적 공격을 분류.
• FGSM 및 PGD와 같은 기울기 기반 방법을 포함한, 적대적 예제를 생성하는 데 사용된 최적화 기법 분석.
• 적대적 훈련, 입력 변환, 기울기 마스킹 등을 포함한 기존 방어 기법을 검토하고, 그 한계를 평가.
• 이전 연구에서의 경험적 증거를 바탕으로 현재 모델의 취약성과 일반화 가능한 강건성의 부족을 강조.
• 분야 내 이론적, 경험적, 아키텍처적 한계를 바탕으로 향후 연구 방향을 통합적으로 도출.

Figure 1: Timeline of adversarial attacks and samples in adversarial machine learning, compared to work on the security of deep networks [ 10 ] .

실험 결과

연구 질문

• RQ1 어떻게 다양한 위협 모델과 공격 목표에 따라 적대적 공격를 체계적으로 분류할 수 있는가?
• RQ2 왜 현재의 적대적 방어 기법들이 다양한 공격 유형과 모델 아키텍처 간에 일반화되지 못하는가?
• RQ3 작은 입력 변형이 존재하는 상황에서 딥 네트워크가 취약해지는 근본적인 이유는 무엇인가?
• RQ4 적대적 예제는 신경망의 특징 학습 및 추론 과정의 한계를 어떻게 드러내는가?
• RQ5 적대적 공격에 대응하는 강건하고, 적응형이며, 이론적으로 탄탄한 방어 기법을 개발하는 데 있어 핵심적인 열린 과제는 무엇인가?

주요 결과

• 적대적 공격는 딥 네트워크의 비강건성에 악용되며, 눈에 띄지 않는 변형으로 인해 오분류를 유도한다.
• 현재의 방어 기법은 주로 반응형이며, 더 강력한 적응형 공격에는 실패한다. 많은 경우 기울기 마스킹에 의존할 뿐 진정한 강건성을 확보하지 못한다.
• 이론적 분석에 따르면, 적대적 예제는 비凸성, 비선형 최적화 문제의 해이므로 분석하고 방어하기가 어렵다.
• 적대적 예제는 종종 모델이 부적절한, 의미 없는 특징에 집중하게 하며, 인간과 모델의 추론 간의 불일치를 드러낸다.
• 블랙박스 공격은 점점 더 효과적이며, 기존 모델은 감사 가능성 부족으로 인해 실제 적용 시 신뢰도와 보안성이 제한된다.
• 사전 방어 프레임워크와 강건하고 더 단단한 특징을 학습하는 기법이 필수적이다. 이를 통해 모델의 강건성을 향상시켜야 한다.

Figure 2: Visualisation of formal definition for Neural Network