[논문 리뷰] Double Backpropagation for Training Autoencoders against Adversarial Attack

Chengjin Sun, Sizhe Chen외 1명|arXiv (Cornell University)|2020. 03. 04.

Adversarial Robustness in Machine Learning참고 문헌 38인용 수 4

한 줄 요약

이 논문은 입력 편향에 대한 복원 출력의 기울기를 제약하여 적대적 공격에 대한 오토인코더의 강건성을 향상시키기 위해 더블 백프로파게이션(DBP)을 제안한다. 인코더의 기울기를 매끄럽게 하고 잠재 공간에서 가우시안 믹스처 모델(GMM)을 결합함으로써, 이 방법은 흰 상자 및 blk 박스 적대적 공격 모두에 저항하면서도 높은 복원 정밀도를 유지하고 안정적인 이미지 전환을 가능하게 하는 강건한 오토인코더를 달성한다.

ABSTRACT

Deep learning, as widely known, is vulnerable to adversarial samples. This paper focuses on the adversarial attack on autoencoders. Safety of the autoencoders (AEs) is important because they are widely used as a compression scheme for data storage and transmission, however, the current autoencoders are easily attacked, i.e., one can slightly modify an input but has totally different codes. The vulnerability is rooted the sensitivity of the autoencoders and to enhance the robustness, we propose to adopt double backpropagation (DBP) to secure autoencoder such as VAE and DRAW. We restrict the gradient from the reconstruction image to the original one so that the autoencoder is not sensitive to trivial perturbation produced by the adversarial attack. After smoothing the gradient by DBP, we further smooth the label by Gaussian Mixture Model (GMM), aiming for accurate and robust classification. We demonstrate in MNIST, CelebA, SVHN that our method leads to a robust autoencoder resistant to attack and a robust classifier able for image transition and immune to adversarial attack if combined with GMM.

연구 동기 및 목표

• 작은 입력 편향에 의해 크게 다른 복원 결과를 낳는 적대적 공격으로부터 오토인코더의 취약성을 해결하기 위해.
• 더블 백프로파게이션(DBP)이 복원 출력의 기울기를 제어하여 오토인코더의 입력 편향에 대한 민감도를 줄일 수 있는지 조사하기 위해.
• 잠재 공간에서 가우시안 믹스처 모델(GMM)을 사용하여 분류기 출력을 안정화하고 매끄럽게 하여 강건성을 향상시키는지 탐색하기 위해.
• DBP-정규화된 오토인코더를 사용할 때 적대적 조건 하에서 이미지 전환의 이행 가능성과 강건성을 평가하기 위해.
• DBP와 GMM를 결합하면 흰 상자 및 검정 상자 적대적 공격 모두에 저항하는 분류기가 만들어지는지 입증하기 위해.

제안 방법

• 입력 편향에 대한 복원 출력의 기울기를 제약하기 위해 더블 백프로파게이션(DBP)을 적용하여, 특히 ∂x′/∂x의 값을 제한함으로써 민감도를 감소시킴.
• 훈련 중에 ∂x′/∂x의 크기를 최소화함으로써 인코더의 큰 기울기를 방지하는 손실 함수를 도입하고, 이중 백프로파게이션 메커니즘을 사용함.
• 작은 입력 편향 하에서도 매끄러운 잠재 표현과 안정적인 복원을 보장하기 위해 VAE와 DRAW 오토인코더에 DBP를 적용함.
• 잠재 코드의 분포를 가우시안 믹스처 모델(GMM)로 모델링하여 잠재 공간에서 매끄럽고 연속적인 결정 경계를 제공함.
• GMM-정규화된 잠재 공간을 사용하여 분류기의 기울기를 따라 잠재 공간에서 이미지 전환을 구현함으로써, 일관되고 의미 있는 변환을 보장함.
• MNIST 및 SVHN 데이터셋에서 표준 분류기와 비교하여 FGSM 및 PGD 공격에 대한 정확도를 평가함으로써 강건성을 평가함.

실험 결과

연구 질문

• RQ1 더블 백프로파게이션(DBP)이 작은 입력 편향에 대한 오토인코더의 민감도를 효과적으로 줄여 적대적 공격에 대한 강건성을 향상시킬 수 있는가?
• RQ2 잠재 공간에서 DBP와 GMM를 결합하면 흰 상자 및 검정 상자 적대적 공격 모두에 대한 분류기의 강건성이 향상되는가?
• RQ3 DBP를 사용할 때 복원 품질은 어느 정도 유지되며, 오토인코더의 적대적 강건성 향상에 기여하는가?
• RQ4 GMM 기반 분류를 사용하는 DBP-정규화된 오토인코더를 사용할 때 입력 공간에서 이미지 전환이 안정적이고 일관되게 이루어지는가?
• RQ5 MNIST 및 SVHN에서 DBP+GMM 분류기의 성능은 표준 딥 네트워크보다 적대적 공격 조건에서 어떻게 비교되는가?

주요 결과

• DBP-정규화된 오토인코더는 PGD 및 FGSM 공격 조건에서도 원본에 가까운 복원을 유지하며 적대적 공격에 강건함을 입증함.
• MNIST에서 DBP+GMM 분류기는 PGD 공격 조건에서 93.56%의 정확도를 기록하였으며, LeNet의 8.12% 및 MLP의 56.64%에 비해 강력한 강건성을 보임.
• SVHN에서 DBP+GMM 분류기는 PGD 공격 조건에서 72.6%의 정확도를 달성하였으며, 기준 모델인 CvNet의 1.8%에 비해 뚜렷한 승리함.
• DBP+GMM를 적용한 분류기는 검정 상자 공격에도 강건하여, 다른 네트워크에서 생성된 적대적 예제를 사용할 때 MNIST에서 92.93%의 정확도, SVHN에서 88.77%의 정확도를 기록함.
• DBP+GMM 모델을 사용한 이미지 전환은 입력 공간에서 일관되고 의미 있는 변환을 생성하며, 신뢰도가 증가함에 따라 목표 이미지의 특징이 뚜렷이 드러남.
• 낮은 복원 오차와 MNIST, CelebA, SVHN 데이터셋 전반에서 안정적인 성능을 통해 높은 복원 정밀도를 유지함을 입증함.