[논문 리뷰] Watch out! Motion is Blurring the Vision of Your Deep Neural Networks

Qing Guo, Felix Juefei-Xu외 6명|arXiv (Cornell University)|2020. 02. 10.

Adversarial Robustness in Machine Learning참고 문헌 48인용 수 44

한 줄 요약

이 논문은 DNN을 속이기 위해 시각적으로 자연스러운 모션 블러 adversarial 예제를 생성하는 모션 기반 adversarial blur 공격 ABBA를 소개하고, 전이성 및 디블러링에 대한 강건성 평가를 수행합니다. 또한 시뮬레이션과 실제 시나리오에서 물리적 세계 가능성을 입증합니다.

ABSTRACT

The state-of-the-art deep neural networks (DNNs) are vulnerable against adversarial examples with additive random-like noise perturbations. While such examples are hardly found in the physical world, the image blurring effect caused by object motion, on the other hand, commonly occurs in practice, making the study of which greatly important especially for the widely adopted real-time image processing tasks (e.g., object detection, tracking). In this paper, we initiate the first step to comprehensively investigate the potential hazards of the blur effect for DNN, caused by object motion. We propose a novel adversarial attack method that can generate visually natural motion-blurred adversarial examples, named motion-based adversarial blur attack (ABBA). To this end, we first formulate the kernel-prediction-based attack where an input image is convolved with kernels in a pixel-wise way, and the misclassification capability is achieved by tuning the kernel weights. To generate visually more natural and plausible examples, we further propose the saliency-regularized adversarial kernel prediction, where the salient region serves as a moving object, and the predicted kernel is regularized to achieve naturally visual effects. Besides, the attack is further enhanced by adaptively tuning the translations of object and background. A comprehensive evaluation on the NeurIPS'17 adversarial competition dataset demonstrates the effectiveness of ABBA by considering various kernel sizes, translations, and regions. The in-depth study further confirms that our method shows more effective penetrating capability to the state-of-the-art GAN-based deblurring mechanisms compared with other blurring methods. We release the code to https://github.com/tsingqguo/ABBA.

연구 동기 및 목표

• 실세계 인지 작업에서 물체의 움직임으로 인한 모션 블러가 심층 신경망(DNN)을 어떻게 위협할 수 있는지 조사한다.
• 시각적으로 자연스러운 모션 블러를 생성하는 커널 예측 기반의 적대적 공격 프레임워크를 개발한다.
• 공격의 타당성을 높이기 위해 주목도 규제 및 영역 기반 모션 제약으로 자연성을 향상시킨다.
• 성공률 및 전달성 측면에서 ABBA를 최첨단 덧셈 공격 및 흐림(블러) 기준선과 비교 평가한다.
• 물리적 세계에서의 적대적 흐림의 가능성과 디블러링 방법에 대한 강건성을 탐구한다.

제안 방법

• ABBA를 도입한다: 각 픽셀을 로컬 이웃에서 학습 가능한 커널로 컨벌루션하는 커널 예측 기반의 적대적 공격.
• 정규화되지 않은 커널인 ABBA_pixel과 주목도 가이드, 영역 일관 흐림 규제를 갖춘 ABBA_motion으로 확장한다.
• 주목도 맵을 사용하여 움직이는 객체 영역을 지정하고 객체/배경 영역에서 시각적으로 자연스러운 모션 블러를 생성하도록 커널을 규제한다.
• N개의 부분 모션으로 객체와 배경을 이동시키고 이동된 픽셀 이웃을 누적하여 흐림(Eq. 4)을 시뮬레이션한다.
• ABBA_motion에서는 커널 가중치와 변환 매개변수를 공동으로 최적화하여 목표 손실을 최대화하되 커널 희소성을 제약하고 영역 전체의 커널 일치를 촉진한다.
• ABBA_physical를 제안한다: 커널을 평균 값으로 고정하고 공유된 변환을 강제하여 실제 카메라로 유도되는 흐림을 모방하며 AirSim에서 및 실제 모바일 폰 실험으로 검증한다.
• NeurIPS’17 적대적 데이터셋에서 여러 모델(InC-v3, Inc-v4, IncRes-v2, Xception) 및 방어에 대해 평가하고; 덧셈 공격 및 흐림 기준선과 비교하며 DeblurGAN/DeblurGANv2에 대한 강건성도 평가한다.

실험 결과

연구 질문

• RQ1 모션 블러가 DNN 인지에 어떤 영향을 미치며 시각적으로 그럴듯하지만 분류기를 오도하는 적대적 예제를 만들 수 있는가?
• RQ2 커널 예측 기반 공격이 높은 공격 성공 및 전달성을 만들어 전통적인 흐림 방법 및 additive-noise 공격보다 우월한가?
• RQ3 주목도 가이드, 영역 일관 모션 블러가 효과를 해치지 않으면서 공격 타당성을 개선하는가?
• RQ4 시뮬레이션 및 실제 세계 설정에서 물리적으로 구현 가능한 적대적 흐림 공격이 가능하며 디블러링 기술에 대해 얼마나 강건한가?

주요 결과

• ABBA 및 ABBA_pixel은 정상적으로 학습된 모델과 방어 모델에 대해 흐림 기준선보다 더 높은 공격 성공률과 전달성을 달성한다.
• ABBA_예제는 더 높은 공격 성공에도 시각적으로 자연하게 남아 있다(더 낮은 BRISQUE 점수), additive-noise 공격과 달리 이미지 품질이 저하되지 않는다.
• DeblurGAN 및 DeblurGANv2와 비교할 때 ABBA는 디블러링에 더 강하므로 커널 크기가 커져도 공격 효과를 유지한다.
• ABBA_physical은 AirSim에서 Inc-v3에 대해 높은 성공을 보여주었고 모션 블러 하에서 실제 모바일 폰 테스트에서 오분류 가능성을 시사한다.
• 특정 영역(객체 또는 이미지 전체)을 흐리게 하는 공격은 성공이 다양하게 나타내며, 우리의 영역 인식 ABBA는 전이성 및 현실성 측면에서 일반적인 흐림 기준선보다 일반적으로 우수하다.
• 전반적으로 ABBA는 전달성 및 강건성 측면에서 여러 최첨단 흐림 및 additive-attacks를 능가하며 더 자연스러운 적대적 흐림을 생성한다.