[논문 리뷰] Adversarial Rain Attack and Defensive Deraining for DNN Perception

Liming Zhai, Felix Juefei-Xu외 6명|arXiv (Cornell University)|2020. 09. 19.

Adversarial Robustness in Machine Learning인용 수 10

한 줄 요약

이 논문은 딥뉴럴넷(DNN) 기반 이미지 분류 및 객체 검출 시스템의 취약점을 드러내기 위해 현실적이고 뚜렷한 비줄기를 유도하는 적대적 비 공격(adversarial rain attack)을 제안한다. 또한, 적대적 비 증강을 통한 방어적 비 제거(defensive deraining) 기법을 도입하여 비가 내리는 입력에서의 디핑 모델 성능과 DNN 정확도를 크게 향상시킨다.

ABSTRACT

Rain often poses inevitable threats to deep neural network (DNN) based perception systems, and a comprehensive investigation of the potential risks of the rain to DNNs is of great importance. However, it is rather difficult to collect or synthesize rainy images that can represent all rain situations that would possibly occur in the real world. To this end, in this paper, we start from a new perspective and propose to combine two totally different studies, i.e., rainy image synthesis and adversarial attack. We first present an adversarial rain attack, with which we could simulate various rain situations with the guidance of deployed DNNs and reveal the potential threat factors that can be brought by rain. In particular, we design a factor-aware rain generation that synthesizes rain streaks according to the camera exposure process and models the learnable rain factors for adversarial attack. With this generator, we perform the adversarial rain attack against the image classification and object detection. To defend the DNNs from the negative rain effect, we also present a defensive deraining strategy, for which we design an adversarial rain augmentation that uses mixed adversarial rain layers to enhance deraining models for downstream DNN perception. Our large-scale evaluation on various datasets demonstrates that our synthesized rainy images with realistic appearances not only exhibit strong adversarial capability against DNNs, but also boost the deraining models for defensive purposes, building the foundation for further rain-robust perception studies.

연구 동기 및 목표

• 자율주행 및 감시 시스템에서 DNN 기반 인식 시스템에 대한 실제 세계의 비 영향을 조사하기 위해.
• 극한 또는 적대적 비 조건에서 DNN의 취약점을 드러내는 데에 유용한 다양한 실존적인 비 이미지 데이터의 부족 문제를 해결하기 위해.
• 적대적 비 데이터를 활용해 비 제거 모델의 일반화 능력과 강건성을 향상시키는 방어 전략을 개발하기 위해.
• 고해상도 DNN 유도 적대적 비 패턴을 생성함으로써 합성된 비 이미지와 실제 세계의 비 이미지 간 격차를 메우기 위해.

제안 방법

• 카메라 노출 과정과 학습 가능한 비 요소를 기반으로 한 인지 인자 인식 비 생성 기법을 제안하여 적대적 공격를 위한 비줄기를 모델링한다.
• 시각적으로 현실적인 비층을 합성하기 위해 GAN 기반 생성기(GAN-based generator)를 사용하며, 동시에 공격 효과를 극대화하기 위해 의도적으로 눈에 띄게 만든다.
• 생성된 적대적 비를 청소된 이미지에 적용하여 분류 및 검출 작업에서 DNN을 오도하는 적대적 예제를 생성한다.
• 학습 중에 적대적 비층을 혼합함으로써 적대적 비 증강(adversarial rain augmentation)을 도입하여 비 제거 모델의 일반화 능력과 강건성을 향상시킨다.
• 기존의 비 제거 모델(PreNet, EfDeRain)을 적대적 비 데이터로 미세조정하여 방어 성능을 평가한다.
• PSNR, SSIM, 상위-1 정확도 지표를 사용하여 Rain100H, Rain1400, MS COCO, DEV 등의 벤치마크 데이터셋에서 접근 방식을 검증한다.

실험 결과

연구 질문

• RQ1 강도, 방향, 밝기와 같은 비 외관 요소 중에서 DNN 인식 성능을 가장 심각하게 떨어뜨리는 요소는 무엇인가?
• RQ2 DNN 유도 비 합성 기법이 시각적으로 현실적이면서도 DNN을 효과적으로 오도할 수 있는 적대적 비 패턴을 생성할 수 있는가?
• RQ3 적대적 비 증강이 어려운 비줄기를 제거하는 비 제거 모델의 강건성을 어느 정도 향상시킬 수 있는가?
• RQ4 적대적 비를 활용한 방어적 비 제거 기법이 비가 내리는 입력에서의 하류 DNN 인식 작업 정확도를 얼마나 향상시킬 수 있는가?

주요 결과

• 적대적 비 공격는 최신 DNN 기반 이미지 분류 및 객체 검출 시스템을 오도할 수 있는 시각적으로 현실적인 비 패턴을 성공적으로 생성하였다.
• 적대적 비 증강을 통해 훈련된 비 제거 모델은 Rain100H 및 Rain1400 데이터셋에서 기준 모델 대비 상당한 PSNR 및 SSIM 향상을 달성하였다.
• DEV 데이터셋에서 적대적 비로 훈련된 모델에서 복원된 이미지를 사용할 경우, 이미지 분류기는 상위-1 정확도가 크게 향상되었으며(예: 최대 15–20%p 향상), 이는 뚜렷한 개선 효과를 보였다.
• 시각적 비교 결과, 적대적 비 증강을 적용한 비 제거 모델은 더 선명하고 세밀한 이미지를 생성했으며, 질감과 윤곽선의 보존 능력이 뛰어났다.
• 기존의 데이터 증강 기법(예: AugMix, 플립/회전)은 유의미한 개선 효과를 보였지만, 적대적 비가 하드하고 오도하기 쉬운 비 패턴을 시뮬레이션하는 데서 유일무이한 효과를 보였다.
• 이 방법은 비 강도와 방향성 패턴이 DNN 강건성을 체계적으로 시험하고 향상시키는 데 핵심적인 위협 요소임을 드러냈다.