[논문 리뷰] Defending against Adversarial Attack towards Deep Neural Networks via Collaborative Multi-task Training

Derek Wang, Chaoran Li외 3명|arXiv (Cornell University)|2018. 03. 14.

Adversarial Robustness in Machine Learning참고 문헌 45인용 수 6

한 줄 요약

이 논문은 적대적 훈련과 레이블 쌍 인코딩을 조합하여 블랙박스 및 GRAY박스 적대적 공격에 저항하는 협업형 다중 작업 훈련 방어 기법을 제안한다. CIFAR-10에서 정상 예측 정확도가 2.1% 감소하는 데 그치며, 블랙박스 적대적 예측에서 96.3%의 정확도를 달성하고, 고신뢰도 적대적 입력의 98.7%를 탐지한다.

ABSTRACT

Deep neural networks (DNNs) are known to be vulnerable to adversarial examples which contain human-imperceptible perturbations. A series of defending methods, either proactive defence or reactive defence, have been proposed in the recent years. However, most of the methods can only handle specific attacks. For example, proactive defending methods are invalid against grey-box or white-box attacks, while reactive defending methods are challenged by low-distortion adversarial examples or transferring adversarial examples. This becomes a critical problem since a defender usually does not have the type of the attack as a priori knowledge. Moreover, existing two-pronged defences (e.g., MagNet), which take advantages of both proactive and reactive methods, have been reported as broken under transferring attacks. To address this problem, this paper proposed a novel defensive framework based on collaborative multi-task training, aiming at providing defence for different types of attacks. The proposed defence first encodes training labels into label pairs and counters black-box attacks leveraging adversarial training supervised by the encoded label pairs. The defence further constructs a detector to identify and reject high-confidence adversarial examples that bypass the black-box defence. In addition, the proposed collaborative architecture can prevent adversaries from finding valid adversarial examples when the defence strategy is exposed. In the experiments, we evaluated our defence against four state-of-the-art attacks on $MNIST$ and $CIFAR10$ datasets. The results showed that our defending method achieved up to $96.3\%$ classification accuracy on black-box adversarial examples, and detected up to $98.7\%$ of the high confidence adversarial examples. It only decreased the model accuracy on benign example classification by $2.1\%$ for the $CIFAR10$ dataset.

연구 동기 및 목표

• 공격 유형을 사전에 알 수 없을 때도 작동하는 일반화 가능한 방어 기법의 부족을 해결한다.
• 전이 공격이나 고신뢰도 적대적 예측에 실패하는 기존의 능동형 및 수동형 방어 기법의 한계를 극복한다.
• 공격자가 모델 또는 방어 전략에 부분적인 지식을 가진 경우에도 효과성을 유지하는 방어 기법을 개발한다.
• 정상 예측에서의 높은 정확도를 유지하면서 적대적 편향에 대한 강건성을 크게 향상시킨다.
• 방어 메커니즘이 폭 lộ된 상황에서도 모델 역전환 및 적대적 예측 생성에 강건한 방어 기법을 만든다.

제안 방법

• 적대적 훈련 중에 클래스 레이블을 레이블 쌍으로 인코딩하여 블랙박스 공격에 대한 강건성을 향상시킨다.
• 주 분류 헤드와 적대적 예측 탐지기의 공동 최적화를 위한 협업형 다중 작업 훈련을 사용한다.
• 주 방어 기능을 우회하는 고신뢰도 적대적 예측을 식별하고 거부하도록 탐지기 학습을 수행한다.
• 레이블 쌍 인코딩을 활용해 모델의 결정 경계를 정규화하여 소규모 입력 편향에 대한 민감도를 감소시킨다.
• 기울기 기반 적대적 훈련과 레이블 쌍 인코딩을 통합하여 전이 가능한 공격에 대한 일반화 능력을 향상시킨다.
• 아키텍처 설계를 통해 기울기 정보를 마스킹하여 기울기 기반 공격에 대해 그레이박스 환경에서도 강건한 방어 기법을 설계한다.

실험 결과

연구 질문

• RQ1 사전에 공격 유형을 알지 못하더라도 블랙박스 및 그레이박스 적대적 공격에 효과적으로 저항할 수 있는 방어 기법을 설계할 수 있는가?
• RQ2 블랙박스 환경에서 레이블 쌍 인코딩이 저신뢰도 적대적 예측에 대한 모델 강건성을 향상시키는 데 얼마나 효과적인가?
• RQ3 다중 작업 탐지기가 주 분류기에서 우회하는 고신뢰도 적대적 예측을 어느 정도 탐지할 수 있는가?
• RQ4 공격자가 방어 전략을 폭로한 상황에서 방어 기법의 효과성이 떨어지며, 이러한 조건에서도 방어 기법이 강건성을 유지할 수 있는가?
• RQ5 표준 벤치마크인 MNIST와 CIFAR-10에서 정상 예측 정확도와 확장성 측면에서 방어 기법의 성능은 어떠한가?

주요 결과

• 제안된 방어 기법은 블랙박스 적대적 예측에서 96.3%의 분류 정확도를 달성하여 많은 기존 방어 기법보다 뛰어난 성능을 보였다.
• 적대적 예측 탐지기가 고신뢰도 적대적 예측의 98.7%를 성공적으로 식별하여 강력한 탐지 능력을 입증했다.
• CIFAR-10 데이터셋에서 정상 예측 정확도가 2.1%만 감소하여 실용적 타당성이 높음을 나타냈다.
• 전이 공격에 대해 효과적으로 대응했으며, 기울기 마스킹과 레이블 쌍 정규화 덕분에 그레이박스 공격에 대해서도 강건성을 유지했다.
• 이전에 대체 공격에 의해 무너진 바 있는 MagNet과 같은 기존 이중 기반 방어 기법보다 성능이 뛰어났다.
• 방어 기법의 성능은 비표적 적대적 예측의 강건성과 다양성에 따라 달라지는 Classmap의 품질에 민감하게 영향을 받았다.