[논문 리뷰] Adversarial Attack with Raindrops

Jiyuan Liu, Bingyi Lu외 3명|arXiv (Cornell University)|2023. 02. 28.

Adversarial Robustness in Machine Learning인용 수 11

한 줄 요약

본 논문은 AdvRD를 제안하는데, 이는 실제 빗방울과 닮은 적대적 빗방울 이미지를 생성하고 DNN을 공격하는 GAN 기반 방법이며, AdvRD를 이용한 적대적 학습이 현실 세계의 빗방울 공격에 대한 강인성을 향상시킨다는 것을 보인다.

ABSTRACT

Deep neural networks (DNNs) are known to be vulnerable to adversarial examples, which are usually designed artificially to fool DNNs, but rarely exist in real-world scenarios. In this paper, we study the adversarial examples caused by raindrops, to demonstrate that there exist plenty of natural phenomena being able to work as adversarial attackers to DNNs. Moreover, we present a new approach to generate adversarial raindrops, denoted as AdvRD, using the generative adversarial network (GAN) technique to simulate natural raindrops. The images crafted by our AdvRD look very similar to the real-world raindrop images, statistically close to the distribution of true raindrop images, and more importantly, can perform strong adversarial attack to the state-of-the-art DNN models. On the other side, we show that the adversarial training using our AdvRD images can significantly improve the robustness of DNNs to the real-world raindrop attacks. Extensive experiments are carried out to demonstrate that the images crafted by AdvRD are visually and statistically close to the natural raindrop images, can work as strong attackers to DNN models, and also help improve the robustness of DNNs to raindrop attacks.

연구 동기 및 목표

• 빗방울과 같은 자연 현상이 DNN에 대한 적대적 공격자로 작용할 수 있음을 시연한다.
• 실제 빗방울과 시각적으로 및 통계적으로 닮은 적대적 빗방울 이미지를 합성하기 위한 AdvRD를 제안한다.
• AdvRD로 공격된 모델이 AdvRD 샘플을 이용한 적대적 학습을 통해 강인성을 가질 수 있음을 보인다.
• 다양한 데이터셋과 모델에서 화이트박스 및 블랙박스 설정에서 AdvRD의 효과를 평가한다.

제안 방법

• 생성기 G, 판별기 D, 그리고 전이 분류기 C를 갖는 준 GAN을 사용하여 빗방울 유사 섭동을 생성한다.
• G를 학습시켜 D를 속이고 동시에 C를 통해 적대적 영향을 최대화한다.
• 실제 빗방울 모양과 잠재적 가우시안 특성을 강제하기 위해 인코더 E와 잠재벡터 z를 도입한다.
• 실현성 L_gen, 잠재 구조 L_z, L_p, 그리고 L_adv를 포함하는 합성 생성자 손실 L_G를 정의하여 현실성과 공격 능력 간의 균형을 맞춘다.
• 화이트박스의 경우 z에 대한 제약 하에 목표 손실 L_TC의 최대화를 통해 적대적 빗방울 공격을 최적화하거나, 블랙박스의 경우 샘플링을 통해 최적화한다.
• 실제 빗방울 대비 FID로 진정성을 평가하고, 여러 모델과 데이터셋에 걸쳐 표준 공격과 비교하여 공격 성능을 평가한다.

실험 결과

연구 질문

• RQ1 실제 세계의 DNN에 대해 빗방울이 자연스러운 적대적 섭동으로 작용할 수 있는가?
• RQ2 GAN 기반 접근법이 다양한 DNN 아키텍처를 효과적으로 공격하는 현실적인 적대적 빗방울을 합성할 수 있는가?
• RQ3 AdvRD를 이용한 적대적 학습이 실제 빗방울 섭동에 대한 강인성을 개선하는가?
• RQ4 데이터셋 전반에서 화이트박스 및 블랙박스 설정에서 AdvRD 빗방울의 성능은 어떠한가?
• RQ5 밸런싱 매개변수 eta가 제어하는 현실성과 공격 강도 간의 트레이드오프는 무엇인가?

주요 결과

• AdvRD가 생성한 빗방울은 시각적으로 및 통계적으로 실제 빗방울과 가깝다(FID 비교).
• AdvRD 빗방울은 여러 모델에서 강력한 공격자로 작용할 수 있으며, 블랙박스 설정에서 때로는 그래디언트 기반 방법보다 우수하다.
• AdvRD를 이용한 적대적 학습은 실제 세계 및 디지털 빗방울 공격 성공률을 감소시키고 일부 깨끗한 데이터셋에서 정확도를 향상시킬 수 있다.
• 현실 세계의 빗방울은 상당한 공격 가능성을 보여주며 여러 데이터셋에서 높은 ASR을 보인다(예: NIPS-17에서 92.0%).
• eta를 증가시키면 공격 강도가 증가하지만 현실성은 감소할 수 있으며, 노이즈 샘플 N을 늘리면 ASR이 증가하나 계산 비용이 증가한다.