[논문 리뷰] Adversarial Defense of Image Classification Using a Variational Auto-Encoder

Yi Luo, Henry D. Pfister|arXiv (Cornell University)|2018. 12. 07.

Adversarial Robustness in Machine Learning참고 문헌 25인용 수 7

한 줄 요약

이 논문은 이미지 분류에 대한 일반적인 적대적 공격을 방어하기 위해 조각별 변동형 오토인코더(변동형 오토인코더, VAE)를 사용하는 보편적인 적대적 방어 기법을 제안한다. 입력을 분류하기 전에 재구성한다. VAE의 내재된 랜덤성과 분리된 표현을 활용하여 FGSM 및 I-FGSM 공격에 대해 강건성을 확보하였으며, 중간에서 심한 편향에 대해 JPEG 압축(품질 10)과 동등하거나 이를 초월한다. 앙상블 모델은 공격 강도에 관계없이 단일 모델보다 우수한 성능을 보였다.

ABSTRACT

Deep neural networks are known to be vulnerable to adversarial attacks. This exposes them to potential exploits in security-sensitive applications and highlights their lack of robustness. This paper uses a variational auto-encoder (VAE) to defend against adversarial attacks for image classification tasks. This VAE defense has a few nice properties: (1) it is quite flexible and its use of randomness makes it harder to attack; (2) it can learn disentangled representations that prevent blurry reconstruction; and (3) a patch-wise VAE defense strategy is used that does not require retraining for different size images. For moderate to severe attacks, this system outperforms or closely matches the performance of JPEG compression, with the best quality parameter. It also has more flexibility and potential for improvement via training.

연구 동기 및 목표

• 다양한 공격 유형이나 모델 아키텍처에 대해 재학습이 필요 없이 이미지 분류에서 적대적 공격에 대한 보편적인 방어 기법을 개발하는 것.
• VAE 샘플링에서 유래하는 랜덤성을 활용하여 공격자에 대한 불확실성을 증가시키고 강건성을 향상시키는 것.
• 겹치는 조각과 적응형 스트라이드를 사용한 조각별 재구성으로 고해상도 이미지에서 효율적인 방어를 가능하게 하는 것.
• 스무딩 필터와 조정 가능한 β 초모수를 사용하여 재구성 정밀도를 향상시키고 조각 스티칭에서 발생하는 잡음과 기교를 줄이는 것.
• 다양한 공격 강도에서 방어 성능을 평가하고, JPEG 압축과 같은 기존 기준과 비교하는 것.

제안 방법

• 고해상도 이미지(예: 299×299)에서 추출한 이미지 조각에 대해 VAE를 학습시켜 학습 비용을 줄이고 확장성을 향상시킨다.
• 입력 이미지를 겹치는 조각들(예: 16×16, 32×32, 64×64)으로 나누고, 각 조각을 VAE로 독립적으로 재구성한 후 겹치는 픽셀을 평균하여 재조합한다.
• 조각 재구성 스트라이드를 조정 가능한 초모수로 도입하여 겹침과 이미지 품질을 제어하고, 잡음 감소와 편향 유지 간의 균형을 맞춘다.
• 재구성 후 5×5 스무딩 필터를 적용하여 조각 간 경계 잡음과 기교를 완화하며, 필터로 인해 발생하는 흐림을 보완하기 위해 β를 증가시키고 더 긴 학습 기간을 적용한다.
• 기존 네트워크나 공격 유형에 특화된 재학습 없이, 대상 분류기 이전의 전처리 단계로 방어를 적용한다.
• 다양한 VAE 모델(예: 16×16, 32×32, 64×64)의 앙상블을 사용하여 재구성을 평균화함으로써 다양한 편향 크기에서 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 VAE 기반 재구성 방법이 대상 분류기 수정 없이 다양한 적대적 공격에 효과적으로 대응할 수 있는가?
• RQ2 변동하는 조각 크기와 스트라이드를 가진 조각별 재구성 전략이 다양한 편향 크기에서 방어 성능에 어떤 영향을 미치는가?
• RQ3 VAE 샘플링의 내재된 랜덤성이 결정론적 방어 대비 강건성을 얼마나 향상시키는가?
• RQ4 다양한 VAE 모델 앙상블이 작은 편향과 큰 편향에서 단일 모델 방어 대비 정확도 복구 성능에서 어떤가?
• RQ5 VAE 방어가 다양한 공격 강도에서 알려진 저비용 방어인 JPEG 압축의 강건성과 동등하거나 이를 능가할 수 있는가?

주요 결과

• 64×64 조각 VAE 모델은 FGSM 공격에서 평균 상대 L2 차이 0.167로 분류 정확도를 0.563으로 복구하여 중간에서 심한 공격에서 JPEG 품질 10(0.548)을 능가했다.
• 작은 편향(0.01 L2 차이)에서는 JPEG 품질 23이 0.86의 정확도를 기록하여 모든 VAE 모델을 능가했지만, 큰 편향에서 정확도가 급격히 0.0401로 떨어졌다.
• 앙상블 평균 VAE 모델은 작은 편향에서는 JPEG 품질 10 수준의 성능을 근접했고, 더 큰 공격에서 더 뛰어난 강건성을 유지했다.
• I-FGSM 공격(평균 L2 차이 0.07)에서 단일 64×64 VAE 모델은 정확도를 0.025에서 0.739로 복구하여 강력한 방어 능력을 입증했다.
• 앙상블 모델은 개별 VAE보다 작은 편향에서 방어 성능을 향상시켰지만, 큰 편향에서는 성능 저하를 보여 공격 스케일에 따른 강건성 간의 상충 관계를 보였다.
• 5×5 스무딩 필터 적용으로 정상 입력 및 적대적 입력 모두에서 재구성 이미지의 분류 정확도가 약 10% 향상되어 재구성 잡음 감소 효과를 확인했다.