[논문 리뷰] Enhancing the Robustness of Deep Neural Networks by Boundary Conditional GAN

Ke Sun, Zhanxing Zhu외 1명|arXiv (Cornell University)|2019. 02. 28.

Adversarial Robustness in Machine Learning참고 문헌 23인용 수 17

한 줄 요약

이 논문은 사전 훈련된 분류기의 결정 경계 근처에서 합성 경계 샘플을 생성함으로써 딥 네ural 네트워크의 강건성을 향상시키는 새로운 방식의 방어 메커니즘인 경계 조건 GAN을 제안한다. 수정된 조건부 GAN을 사용하여 예측 분포와 균일 분포 간의 KL 발산을 최소화함으로써, 다양한 고질량의 경계 샘플을 생성한다. 이러한 샘플들은 데이터 증강에 사용되며, MNIST, Fashion-MNIST, CIFAR10에서 다양한 적대적 공격에 대해 강건성을 크게 향상시키며, 특정 공격 유형에 의존하지 않는다.

ABSTRACT

Deep neural networks have been widely deployed in various machine learning tasks. However, recent works have demonstrated that they are vulnerable to adversarial examples: carefully crafted small perturbations to cause misclassification by the network. In this work, we propose a novel defense mechanism called Boundary Conditional GAN to enhance the robustness of deep neural networks against adversarial examples. Boundary Conditional GAN, a modified version of Conditional GAN, can generate boundary samples with true labels near the decision boundary of a pre-trained classifier. These boundary samples are fed to the pre-trained classifier as data augmentation to make the decision boundary more robust. We empirically show that the model improved by our approach consistently defenses against various types of adversarial attacks successfully. Further quantitative investigations about the improvement of robustness and visualization of decision boundaries are also provided to justify the effectiveness of our strategy. This new defense mechanism that uses boundary samples to enhance the robustness of networks opens up a new way to defense adversarial attacks consistently.

연구 동기 및 목표

• 안전 임계 응용 분야에서 심각한 위협이 되는 적대적 예제에 대한 딥 네ural 네트워크의 취약성을 해결하기 위해.
• 백색 상자 및_BLK 백색 상자 공격을 포함한 다양한 적대적 공격에 강건한 방어 메커니즘을 개발하기 위해.
• 특정 공격 유형이나 기울기 가로막기 기법에 의존하지 않고 결정 경계의 강건성을 향상시키기 위해.
• 적절한 적대적 방향을 나타내는 고품질의 다양한 경계 샘플을 생성하기 위해 조건부 GAN의 활용을 탐색하기 위해.
• 경계 샘플을 사용한 데이터 증강을 통해 일관되고 일반화 가능한 방어 전략을 제공하기 위해.

제안 방법

• 예측 분포와 균일 분포 간의 발산을 최소화하기 위해 Kullback-Leibler (KL) 발산 손실 항목을 추가함으로써 수정된 조건부 GAN을 제안한다.
• KL 발산 정규화는 생성기의 출력이 사전 훈련된 분류기의 결정 경계 근처에서 이루어지도록 유도하며, 이는 오분류가 가장 일어날 가능성이 높은 영역이다.
• 생성기는 클래스 레이블에 조건을 두어 클래스별 경계 샘플을 생성함으로써 다양성과 레이블 충실도를 보장한다.
• 생성된 경계 샘플은 사전 훈련된 분류기를 미세 조정하기 위한 데이터 증강으로 사용되며, 이로써 결정 경계가 더욱 정교하고 부드러워진다.
• 샘플 품질 향상과 모드 커버리지 향상을 위해 보조 분류기 GAN (AC-GAN) 아키텍처를 활용하여 모드 붕괴 위험을 줄인다.
• 다양한 적대적 공격 유형, 즉 FGSM, PGD 및 블랙박스 공격을 사용하여 최종 모델의 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 분류기의 결정 경계 근처에서 고품질의 경계 샘플을 생성하기 위해 조건부 GAN을 효과적으로 수정할 수 있는가?
• RQ2 이러한 경계 샘플을 사용한 데이터 증강이 다양한 적대적 공격에 대해 딥 네ural 네트워크의 강건성을 크게 향상시키는가?
• RQ3 기존의 방어 방법, 예를 들어 적대적 훈련, 방어적 분류, Defense-GAN과 비교할 때 제안된 경계 조건 GAN의 강건성은 어떠한가?
• RQ4 생성된 샘플의 다양성과 정확성이 분류기의 최종 강건성에 얼마나 큰 영향을 미치는가?
• RQ5 이 방어 메커니즘은 블랙박스 및 전이 기반 공격을 포함한 예상치 못한 공격 유형으로 일반화 가능한가?

주요 결과

• 경계 조건 GAN은 MNIST, Fashion-MNIST, CIFAR10에서 FGSM 및 PGD 적대적 훈련, 방어적 분류, Defense-GAN을 모두 능가하는 강건성을 확보한다.
• 모든 데이터셋에서 최신 기술 수준의 강건성을 달성하며, 다양한 공격 유형 하에서 청소년 정확도 유지와 적대적 정확도 향상에 뚜렷한 기여를 한다.
• 결정 경계의 시각화 결과, 강건한 모델은 청소년 예제 주변의 안전 영역을 확장하고 있음을 보여주며, 더 안정적이고 일반화된 결정 경계임을 시사한다.
• 이러한 향상은 다양한 적대적 방향을 포괄하는 고품질의 경계 샘플 생성 덕분이며, 일반화 능력 향상에 기여한다.
• 모드 붕괴와 기울기 가로막기 문제를 애초에 피함으로써, 강력한 공격에 대해 일관된 성능을 보이며 다른 GAN 기반 방어 기법의 문제점을 피한다.
• 정량적 평가 결과, KL 발산 정규화가 생성기를 결정 경계 쪽으로 효과적으로 이끌어내어 효과적인 데이터 증강이 가능함을 확인하였다.