[논문 리뷰] Towards Robust Detection of Adversarial Examples

Tianyu Pang, Chao Du외 2명|arXiv (Cornell University)|2017. 06. 02.

Adversarial Robustness in Machine Learning참고 문헌 40인용 수 13

한 줄 요약

이 논문은 역교차엔트로피(RCE) 훈련과 커널 밀도(K-density) 임계값 기반 검출기 도입을 통해 적대적 예제에 대한 강건한 방어 기법을 제안한다. RCE는 정상 예제와 적대적 예제 간의 특징 구분 능력을 향상시켜 K-density 검출기가 적대적 예제를 최소한의 훈련 오버헤드로 효과적으로 걸러내도록 한다. 이로 인해 모든 위협 모델, 특히 이전 방어 기법을 우회하는 화이트박스 공격까지 포함하여 MNIST 및 CIFAR-10에서 최고 수준의 강건성을 달성한다.

ABSTRACT

Although the recent progress is substantial, deep learning methods can be vulnerable to the maliciously generated adversarial examples. In this paper, we present a novel training procedure and a thresholding test strategy, towards robust detection of adversarial examples. In training, we propose to minimize the reverse cross-entropy (RCE), which encourages a deep network to learn latent representations that better distinguish adversarial examples from normal ones. In testing, we propose to use a thresholding strategy as the detector to filter out adversarial examples for reliable predictions. Our method is simple to implement using standard algorithms, with little extra training cost compared to the common cross-entropy minimization. We apply our method to defend various attacking methods on the widely used MNIST and CIFAR-10 datasets, and achieve significant improvements on robust predictions under all the threat models in the adversarial setting.

연구 동기 및 목표

• 다양한 공격 방법으로 제작된 적대적 예제에 대한 딥러닝 모델의 취약성을 해결하기 위해.
• 정상 예제에서의 정확도를 희생시키지 않고 화이트박스, 블랙박스, 무지각 위협 모델 모두에서 검출 강건성을 향상시키기 위해.
• 정상 입력과 적대적 입력 간의 특징 공간 분리 능력을 향상시키는 훈련 절차를 개발하기 위해.
• 표준 딥러닝 파이프라인과 호환되는 경량이며 즉시 적용 가능한 임계값 기반 전략을 통해 효과적인 검출을 가능하게 하기 위해.

제안 방법

• 진정한 클래스에 대해 높은 신뢰도를 유도하고, 잘못된 클래스에 대해 균일성을 유도하는 새로운 훈련 목표로 역교차엔트로피(RCE)를 도입하여 잠재 표현의 구분 능력을 향상시킨다.
• 최종 레이어의 특징에 대해 커널 밀도(K-density) 추정을 적용하여 데이터 다양체에서 벗어난 입력을 식별하는 임계값 기반 검출기로 활용한다.
• 표준 교차엔트로피와 대체하여 RCE 훈련을 적용하며, 소수의 수정만으로도 거의 무시할 수 있는 계산 오버헤드를 유발한다.
• 추론 단계에서 K-density 점수 기반 임계값 전략을 활용해 적대적 예제를 식별하고 걸러내는 방식을 채택한다.
• 특히 차원 수 기반 검출기인 K-density에 적합하도록, RCE 손실을 설계하여 적대적 예제가 특징 공간에서 더 잘 구분되도록 한다.
• 다양한 공격 설정 하에서 여러 모델(ResNet-32, ResNet-56)과 데이터셋(MNIST, CIFAR-10)을 대상으로 방법을 검증한다.

실험 결과

연구 질문

• RQ1 수정된 훈련 목표가 기존 검출 기법을 활용해 적대적 예제의 탐지 가능성을 향상시킬 수 있는가?
• RQ2 화이트박스 공격 하에서 RCE 훈련이 K-density 기반 검출의 강건성에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 정상 예제의 정확도를 유지하면서도 적대적 예제 탐지 능력을 얼마나 향상시키는가?
• RQ4 적대자들이 대체 모델을 사용하는 전이 공격(블랙박스 전이 공격) 상황에서도 방어 기법이 여전히 효과적인가?
• RQ5 검출기를 우회하기 위해 고안된 적대적 예제가 여전히 정상 입력과 시각적으로 구별 가능한가?

주요 결과

• RCE로 훈련된 모델은 ResNet-32(MNIST)에서 C&W-wb 공격에 대해 f₂(x*) > 0 인 적대적 예제 비율이 77%에 달했고, 표준 교차엔트로피 대비 1%에 불과해 탐지 가능성이 크게 향상됨을 확인했다.
• RCE로 훈련된 모델에서 생성된 적대적 예제가 탐지되는 것을 회피하기 위해 평균 31.59의 왜곡을 필요로 했고, 이는 CE 대비 17.12보다 높아 인간의 눈으로도 시각적으로 노이즈가 끼친 것으로 인식될 수 있었다.
• CIFAR-10에서 대체 모델을 사용한 블랙박스 공격에 대해 RCE의 AUC 점수는 89.1이었고, CE 대비 75.0보다 높아 전이 기반 공격에 대한 저항력이 뛰어나다는 것을 보여주었다.
• 모든 위협 모델에서 강건성을 크게 향상시켰지만, 정상 테스트 세트에서 최고 수준의 정확도를 유지했다.
• 가장 공격성이 강한 화이트박스 공격(C&W-wb) 조건에서도 RCE 모델의 적대적 예제는 매크로스코픽한 노이즈를 포함해 시각적으로 명백하게 구분 가능했다.
• 적대자들이 K-density 검출기를 직접 공격하더라도 방어 기법은 효과를 유지했으며, RCE 값과 K-density 점수 간의 명시적 연결이 없어 공격 효율성이 제한되기 때문이다.