[논문 리뷰] Universal 3-Dimensional Perturbations for Black-Box Attacks on Video Recognition Systems

Shangyu Xie, Han Wang외 2명|arXiv (Cornell University)|2021. 07. 09.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 영상 인식 시스템에 대한 블랙박스 적대적 공격을 위한 유니버설 3차원(U3D) 편향을 제안한다. 이 편향은 이전의 프레임 단위 공격 방식의 단점을 보완하여, 모델에 대한 접근이나 쿼리 없이도 다수의 딥 뉴럴 네트워크(DNN) 모델을 유니버설하게 속이는 이전성 없고 시간적으로 일관된 편향을 생성한다. 이 방법은 대규모 영상 데이터셋에서 높은 공격 성공률를 달성하며, 최신 방어 기법을 우회하고 최소한의 계산 부하로 실시간 스트리밍 공격을 가능하게 한다.

ABSTRACT

Widely deployed deep neural network (DNN) models have been proven to be vulnerable to adversarial perturbations in many applications (e.g., image, audio and text classifications). To date, there are only a few adversarial perturbations proposed to deviate the DNN models in video recognition systems by simply injecting 2D perturbations into video frames. However, such attacks may overly perturb the videos without learning the spatio-temporal features (across temporal frames), which are commonly extracted by DNN models for video recognition. To our best knowledge, we propose the first black-box attack framework that generates universal 3-dimensional (U3D) perturbations to subvert a variety of video recognition systems. U3D has many advantages, such as (1) as the transfer-based attack, U3D can universally attack multiple DNN models for video recognition without accessing to the target DNN model; (2) the high transferability of U3D makes such universal black-box attack easy-to-launch, which can be further enhanced by integrating queries over the target model when necessary; (3) U3D ensures human-imperceptibility; (4) U3D can bypass the existing state-of-the-art defense schemes; (5) U3D can be efficiently generated with a few pre-learned parameters, and then immediately injected to attack real-time DNN-based video recognition systems. We have conducted extensive experiments to evaluate U3D on multiple DNN models and three large-scale video datasets. The experimental results demonstrate its superiority and practicality.

연구 동기 및 목표

• 영상 인식에 대한 기존의 프레임 단위 적대적 공격 방식이 시간적 일관성 부족, 높은 계산 비용, AdvIT와 같은 방어 기법에 의해 탐지되는 문제점을 해결하기 위해.
• 대상 모델에 대한 접근이나 쿼리 없이도 다수의 영상 DNN 모델을 유니버설하게 속이는 전이 기반의 블랙박스 공격 프레임워크를 개발하기 위해.
• 최신 방어 기법, 특히 유니버설 적대적 훈련, 탐지 기반 방어 및 인증된 방어 기법에 대해 강건하고 인간이 인지하기 어려운 편향을 확보하기 위해.
• 낮은 지연 시간(~프레임당 0.015초)으로 실시간 영상 스트림 공격에 적합한, 효율적인 온디맨드 편향 생성을 가능하게 하기 위해.

제안 방법

• 방법은 DNN의 특징 공간에서 특징 이탈을 최대화하면서도 공간적 및 시간적 차원에서 편향 크기를 엄격히 제한함으로써 U3D 편향을 생성한다.
• 다양한 모델 간 성능 향상을 위해 영상 DNN의 계층별 특징을 명시적으로 타깃으로 삼아 전이 가능성 최적화를 수행한다.
• 편향과 영상 프레임 간의 비일치를 방지하기 위해 최적화 과정에 경계 효과 완화 기법을 통합한다.
• 전이 기반 전략을 사용하여 대상 모델에 종속되지 않은 유니버설 편향 생성이 가능하며, 성능 향상을 위해 선택적 쿼리 강화 기능을 제공한다.
• 편향은 사전 학습된 파라미터로 사전에 오프라인으로 생성되며, 실시간으로 삽입되어 계산 부하를 최소화한다.
• 프레임워크는 모델에 종속되지 않으며, 다양한 영상 인식 아키텍처와 데이터셋과 호환 가능하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 모델에 대한 접근이나 쿼리 없이도, 블랙박스 환경에서 여러 영상 인식 모델 간에 효과적으로 전이되는 유니버설 3D 편향을 생성할 수 있는가?
• RQ2 제안된 U3D 공격는 기존의 프레임 단위 또는 2D 기반 영상 공격 대비 전이 가능성, 인지 가능성, 강건성 측면에서 어떻게 비교되는가?
• RQ3 U3D 편향는 유니버설 적대적 훈련, 탐지 기반 방어, 인증된 방어 기법(예: PixelDP, 랜덤화 스무딩)을 포함한 최신 방어 기법을 얼마나 효과적으로 우회할 수 있는가?
• RQ4 U3D 편향는 최소한의 지연 시간으로 스트리밍 영상 데이터에 대해 효율적으로 생성되고 적용될 수 있는가?
• RQ5 시간적 일관성과 경계 효과 완화 기법의 통합은 공격 성능 향상과 인지 가능성 향상에 어떤 영향을 미치는가?

주요 결과

• U3D 공격는 C-DUP, V-BAD, H-Opt와 같은 최신 기법보다 세 가지 대규모 영상 데이터셋에서 유의미하게 높은 공격 성공률를 기록한다.
• U3D 편향는 매우 높은 전이 가능성과 함께, 대상 모델에 대한 접근이나 쿼리 없이도 여러 영상 DNN 모델을 성공적으로 공격한다.
• 사용자 설문 조사로 검증된 바, 공격는 인간의 인지에 매우 민감하지 않으며, 최첨단 적대적 예제 탐지기인 AdvIT에 의해서도 탐지되지 않는다.
• U3D 편향는 유니버설 적대적 훈련(UAT), 탐지 기반 방어(예: AdvIT), PixelDP 및 랜덤화 스무딩을 포함한 인증된 방어 기법 등 다양한 방어 체계를 성공적으로 우회한다.
• 계산 비용을 최소화하여 약 프레임당 0.015초의 지연 시간으로 실시간 공격 배포가 가능하므로 스트리밍 영상 응용에 적합하다.
• 방어 기법이 U3D 공격에 맞춰 진화하더라도, 이는 이전의 공격 기법보다 더 효과적이며, 이는 U3D 공격의 강건성과 실제 위협 잠재력이 높음을 시사한다.