[논문 리뷰] Detecting Adversarial Examples - A Lesson from Multimedia Forensics

Pascal Schöttle, Alexander Schlögl외 2명|arXiv (Cornell University)|2018. 03. 09.

Adversarial Robustness in Machine Learning참고 문헌 17인용 수 5

한 줄 요약

이 논문은 MNIST에서 투영된 경사 하강법(PGD)을 통해 생성된 적대적 예제를 탐지하기 위해 스테가노그래피 기반 선형 필터를 제안한다. 픽셀 수준의 예측 잔차를 활용함으로써, 더 큰 편집 예산일수록 높은 탐지율을 달성하며, 적대적으로 재학습된 모델과 조합할 경우 96% 이상의 정확도를 유지하여 적대적 예제에 대한 공격 표면을 크게 줄인다.

ABSTRACT

Adversarial classification is the task of performing robust classification in the presence of a strategic attacker. Originating from information hiding and multimedia forensics, adversarial classification recently received a lot of attention in a broader security context. In the domain of machine learning-based image classification, adversarial classification can be interpreted as detecting so-called adversarial examples, which are slightly altered versions of benign images. They are specifically crafted to be misclassified with a very high probability by the classifier under attack. Neural networks, which dominate among modern image classifiers, have been shown to be especially vulnerable to these adversarial examples. However, detecting subtle changes in digital images has always been the goal of multimedia forensics and steganalysis. In this paper, we highlight the parallels between these two fields and secure machine learning. Furthermore, we adapt a linear filter, similar to early steganalysis methods, to detect adversarial examples that are generated with the projected gradient descent (PGD) method, the state-of-the-art algorithm for this task. We test our method on the MNIST database and show for several parameter combinations of PGD that our method can reliably detect adversarial examples. Additionally, the combination of adversarial re-training and our detection method effectively reduces the attack surface of attacks against neural networks. Thus, we conclude that adversarial examples for image classification possibly do not withstand detection methods from steganalysis, and future work should explore the effectiveness of known techniques from multimedia forensics in other adversarial settings.

연구 동기 및 목표

• 스테가노그래피와 적대적 기계 학습 간의 개념적 유사성을 탐색함으로써 두 분야를 연결하고자 한다.
• 기존의 스테가노그래피 기법이 이미지 분류에서 적대적 예제를 효과적으로 탐지할 수 있는지 조사하고자 한다.
• 픽셀 예측 잔차 기반의 단순하고 선형적인 탐지 방법을 개발하고, PGD로 생성된 적대적 예제를 탐지하기 위해 평가하고자 한다.
• 제안된 탐지 방법을 적대적으로 재학습된 신경망과 조합하여 공격에 대한 전체적인 강건성을 향상시키는지 평가하고자 한다.
• 스테가노그래피에서 유래한 탐지 방법이 강건한 분류와 조합될 경우 공격자의 성공률을 감소시킬 수 있음을 입증하고자 한다.

제안 방법

• 초기 스테가노그래피 방법에서 유도된 선형 예측 필터를 적대적 예제 탐지에 응용하여, 기대값에서의 픽셀 수준의 편차를 분석한다.
• 국소적 픽셀 예측 모델을 사용해 실제 및 예측된 픽셀 강도 간의 잔차를 계산함으로써, 적대적 편집으로 인한 이질성을 식별한다.
• 다양한 편집 예산(ε)을 가진 투영된 경사 하강법(PGD) 공격를 통해 생성된 적대적 예제에 이 방법을 적용한다.
• 탐지 방법을 적대적으로 재학습된 CNN과 조합함: 탐지되지 않은(정상과 유사한) 예제들만 분류기로 전달된다.
• 예측 잔차의 크기를 기반으로 임계값 기반의 결정 규칙을 적용하여 입력을 적대적 또는 정상으로 분류한다.
• 자연 모델 대비 적대적으로 재학습된 모델을 대상으로, 다양한 ε 값과 모델 유형에 대해 진정 양성률(TPR)과 전체 정확도를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 스테가노그래피 기반 탐지 방법은 PGD로 생성된 적대적 예제를 효과적으로 식별할 수 있는가?
• RQ2 PGD 공격에서 편집의 크기(ε)가 증가함에 따라 탐지 성능은 어떻게 변화하는가?
• RQ3 제안된 탐지 방법을 적대적으로 재학습된 모델과 조합하면 전체적인 공격에 대한 강건성이 향상되는가?
• RQ4 왜 재학습된 모델에서 생성된 적대적 예제는 더 탐지하기 어려운가? 이들의 편집에 어떤 구조적 차이가 있는가?
• RQ5 멀티미디어 포렌식에서 유래한 탐지 방법은 적대적 기계 학습에서 강건한 분류와 얼마나 잘 보완되는가?

주요 결과

• 자연 모델의 경우 ε ≈ 0.17에서 진정 양성률(TPR)이 약 50%를 기록하며, ε 값이 증가할수록 성능이 향상된다.
• 적대적으로 재학습된 모델의 경우 ε ≈ 0.31에서 TPR이 50%에 도달하여, 재학습된 모델에서 생성된 적대적 예제는 더 탐지하기 어려운 것으로 나타났다.
• 탐지 방법과 적대적으로 재학습된 모델을 조합할 경우, 모든 ε 값에서 최소 96%의 전체 정확도를 유지하며, 원래 분류기의 정확도가 50% 이하로 떨어지는 경우에도 마찬가지다.
• 자연 모델의 경우 ε ≥ 0.17, 재학습된 모델의 경우 ε ≥ 0.31에서 적대적 및 정상 샘플 간의 완벽한 분리가 달성된다.
• 재학습된 모델에서 생성된 적대적 예제는 더 균일한 픽셀 변화를 보이며, 예측 모델의 기대값에 더 가까워져 탐지 가능성은 감소한다.
• 탐지와 강건한 분류 간의 수직적 상호작용은 조합 시 강력한 상호보완 효과를 보이며, 공격자의 실질적 공격 표면을 크게 줄인다.