[논문 리뷰] Adversarial Examples in Deep Learning: Characterization and Divergence

Wenqi Wei, Ling Liu외 5명|arXiv (Cornell University)|2018. 06. 29.

Adversarial Robustness in Machine Learning참고 문헌 44인용 수 25

한 줄 요약

이 논문은 성공률, 변형 크기, 예측 엔트로피를 기반으로 공격를 '쉬운'과 '어려운'으로 분류함으로써 딥러닝에서의 적대적 예제에 대한 원리적인 통계적 특성 분석을 제시한다. 이는 적대적 행동이 하이퍼파rameter와 딥러닝 프레임워크 간에 상당히 다름을 드러내며, 현재 및 향후 공격에 대비한 강력한 방어 메커니즘 설계에 중요한 통찰을 제공한다.

ABSTRACT

The burgeoning success of deep learning has raised the security and privacy concerns as more and more tasks are accompanied with sensitive data. Adversarial attacks in deep learning have emerged as one of the dominating security threat to a range of mission-critical deep learning systems and applications. This paper takes a holistic and principled approach to perform statistical characterization of adversarial examples in deep learning. We provide a general formulation of adversarial examples and elaborate on the basic principle for adversarial attack algorithm design. We introduce easy and hard categorization of adversarial attacks to analyze the effectiveness of adversarial examples in terms of attack success rate, degree of change in adversarial perturbation, average entropy of prediction qualities, and fraction of adversarial examples that lead to successful attacks. We conduct extensive experimental study on adversarial behavior in easy and hard attacks under deep learning models with different hyperparameters and different deep learning frameworks. We show that the same adversarial attack behaves differently under different hyperparameters and across different frameworks due to the different features learned under different deep learning model training process. Our statistical characterization with strong empirical evidence provides a transformative enlightenment on mitigation strategies towards effective countermeasures against present and future adversarial attacks.

연구 동기 및 목표

• 딥러닝에서의 적대적 예제를 체계적이고 통합적인 프레임워크로 특성화하기 위한 원리적인 틀을 개발하는 것.
• 다양한 하이퍼파rameter와 딥러닝 프레임워크 간에 적대적 행동의 분리 현상을 식별하고 분석하는 것.
• 성공률, 변형 크기, 예측 엔트로피와 같은 통계적 측정치를 도입하여 적대적 공격를 '쉬운'과 '어려운'으로 분류하는 것.
• 모델 설정의 변화에 따라 적대적 공격의 효과성과 일관성 부족을 실증적으로 입증하는 것.
• 적대적 행동의 다수 수준의 예측 불가능성과 일관성 부족을 드러내어 향후 방어 전략 설계에 통찰을 제공하는 것.

제안 방법

• 적대적 노이즈 주입을 고려한 제약 조건이 있는 최적화 문제로서의 적대적 예제 일반 수식을 제안한다.
• 성공률, 변형 정도 변화, 예측 엔트로피, 성공 공격 비율과 같은 통계적 지표를 기반으로 적대적 공격를 '쉬운'과 '어려운'으로 분류한다.
• 다양한 하이퍼파rameter(학습 에포크 수, 특징 맵 크기 등)와 프레임워크(TensorFlow, PyTorch 등)를 사용한 여러 딥러닝 모델에서 광범위한 실험을 수행한다.
• 적대적 예제의 공간적 및 통계적 특징을 시각화하여 그 구성 방식과 분리 패턴을 분석한다.
• 다양한 모델 아키텍처 간 공격의 이식성과 강건성을 평가하기 위해 다중 프레임워크 앙상블 전략을 사용한다.
• 모델 용량과 학습 과정이 적대적 행동에 미치는 영향을 분석하며, 학습된 특징의 차이로 인한 일관성 부족을 강조한다.

실험 결과

연구 질문

• RQ1 성공률, 변형 크기, 예측 엔트로피와 같은 통계적 측정치를 사용하여 적대적 예제를 체계적으로 특성화할 수 있는가?
• RQ2 동일한 적대적 공격 알고리즘이 다양한 하이퍼파rameter와 딥러닝 프레임워크에서 다른 방식으로 작동하는 이유는 무엇인가?
• RQ3 모델 행동과 변형 특성 측면에서 '쉬운' 공격와 '어려운' 공격를 무엇이 구별하는가?
• RQ4 학습 과정과 학습된 특징의 차이로 인해 적대적 행동이 어느 정도 분리되는가?
• RQ5 적대적 예제의 일관성 부족과 예측 불가능성은 어떻게 강력한 방어 메커니즘 설계에 통찰을 제공할 수 있는가?

주요 결과

• 동일한 공격 알고리즘을 사용하더라도 다양한 딥러닝 프레임워크와 하이퍼파rameter 간에 적대적 공격가 상당한 분리 현상을 보인다.
• '쉬운' 공격와 '어려운' 공격 사례 간 성공률, 변형 크기, 예측 엔트로피에 큰 차이가 있으며, 특히 어려운 공격는 낮은 성공률과 높은 변형 민감도를 보인다.
• 다른 하이퍼파ram터(예: 학습 에포크 수, 특징 맵 크기 등)로 학습된 모델들은 서로 다른 특징 표현을 학습하여 일관성 없는 적대적 행동을 보인다.
• 동일한 적대적 예제는 한 프레임워크에선 효과가 있지만 다른 프레임워크에선 실패할 수 있으며, 이는 적대적 강건성이 모델 아키텍처 간에 일반화되지 않음을 보여준다.
• 예측 엔트로피는 공격 난이도의 강력한 지표이며, 어려운 공격는 더 높은 엔트로피를 보이며 예측의 불확실성이 더 크다는 것을 시사한다.
• 본 연구는 적대적 행동이 다수 수준에서 일관성 없음을 드러내며, 모델 특화된 분리 현상을 고려하지 않은 채로는 보편적인 방어 전략을 설계하기 어렵다는 점을 밝혀냈다.