[논문 리뷰] Stochastic Combinatorial Ensembles for Defending Against Adversarial Examples

George-Alexandru Adam, Petr Smirnov외 3명|arXiv (Cornell University)|2018. 08. 20.

Adversarial Robustness in Machine Learning참고 문헌 16인용 수 4

한 줄 요약

이 논문은 깊이 있는 신경망을 활용하여 선형적인 수의 변분 오토에인코더(VAE)를 사용해 지수적으로 큰 모델 앙상블을 생성하는 확률적 방어 프레임워크를 제안한다. 계층 간에 VAE를 확률적으로 삽입함으로써 정규화된 기울기와 함께 적대적 전이성을 감소시키고, 높은 탐지 정확도를 달성한다. 전체 방어 및 탐지 시스템에서 7% 미만의 적대적 예제가 성공적으로 속임을 당기며, 이는 매우 높은 수준의 방어 성능을 의미한다.

ABSTRACT

Many deep learning algorithms can be easily fooled with simple adversarial examples. To address the limitations of existing defenses, we devised a probabilistic framework that can generate an exponentially large ensemble of models from a single model with just a linear cost. This framework takes advantage of neural network depth and stochastically decides whether or not to insert noise removal operators such as VAEs between layers. We show empirically the important role that model gradients have when it comes to determining transferability of adversarial examples, and take advantage of this result to demonstrate that it is possible to train models with limited adversarial attack transferability. Additionally, we propose a detection method based on metric learning in order to detect adversarial examples that have no hope of being cleaned of maliciously engineered noise.

연구 동기 및 목표

• 딥 네ural 네트워크가 적대적 예제에 취약한 점을 해결하고자 하며, 특히 화이트박스 공격 환경에서의 취약성을 다룬다.
• 확률적 VAE 삽입을 통해 모델 기울기를 조작하여 모델 간 적대적 전이성을 감소시키고자 한다.
• 최소한의 계산 오버헤드로 대규모 모델 앙상블을 생성할 수 있는 경량이고 확장 가능한 방어 기법을 개발하고자 한다.
• 삼중체 네트워크 아키텍처를 활용한 메트릭 러닝을 통해 자연 입력과 적대적 입력을 구분하는 탐지 기능을 향상시키고자 한다.

제안 방법

• 딥 네럴 네트워크의 계층 간에 VAE를 확률적으로 삽입하여 선형 학습 비용으로 지수적 크기의 확률적 앙상블 모델을 생성한다.
• VAE를 입력을 재구성하면서도 제어 가능한 기울기 변동을 유도하도록 훈련시키며, 시각적으로 원본 입력과 거의 동일한 재구성 결과가 나오더라도 기울기가 크게 다를 수 있도록 한다.
• 모델 간 기울기 수직성을 핵심 방어 수단으로 활용하여 적대적 전이성을 감소시킨다.
• 메트릭 러닝을 활용한 삼중체 네트워크 탐지기와 VAE 기반 분류기를 결합하여 자연 입력과 적대적 입력을 구분한다.
• 탐지기의 출력을 로짓으로 추가하여 분류기와 함께 공동으로 훈련시키는 공동 모델을 최적화한다. 이는 모델의 강건성을 향상시킨다.
• 적대적 최적화를 평가하기 위해 반복적 공격(CW2 등)을 적용하여 통합된 방어 및 탐지 시스템의 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 단일 모델에서 선형 계산 비용으로만 지수적으로 큰 모델 앙상블을 생성할 수 있는가?
• RQ2 확률적 VAE 삽입은 모델 기울기와 적대적 전이성에 어떤 영향을 미치는가?
• RQ3 모델 간 기울기 수직성이 전이 기반 적대적 공격의 성공률을 어느 정도 감소시킬 수 있는가?
• RQ4 메트릭 러닝 기반 탐지기는 VAE 기반 정제에 저항하는 적대적 예제를 효과적으로 식별할 수 있는가?
• RQ5 분류기와 탐지기의 공동 훈련이 강력한 적대적 공격에 대한 전반적인 강건성에 어떤 영향을 미치는가?

주요 결과

• 단지 선형 수의 VAE를 사용하여 지수적으로 큰 모델 앙상블을 성공적으로 생성하였으며, 계산 오버헤드를 최소화하면서도 모델 행동의 높은 다양성을 확보하였다.
• 시각적으로 거의 동일한 재구성 결과를 보였음에도 불구하고, 서로 다른 VAE 배치로 인해 기울기가 크게 다름을 확인하여, VAE가 거의 항등 기울기를 가진다는 기존 가정을 뒤집는 결과를 도출하였다.
• 모델 간 기울기 수직성이 적대적 전이성 감소에 매우 강력한 예측력을 보였으며, 수직 기울기는 공동 공격를 크게 어렵게 만들었다.
• 삼중체 네트워크 탐지기는 분류기가 속임을 당하더라도 96% 이상의 정확도로 적대적 예제를 탐지하는 데 성공하였다.
• 통합된 방어 및 탐지 시스템은 CW2 공격에서 공격 성공률를 7% 이하로 낮추었으며, 방어되지 않은 모델의 성공률 0.702는 두 구성 요소가 활성화된 경우 0.635로 감소하였다.