[논문 리뷰] Attacking Video Recognition Models with Bullet-Screen Comments

Kai Chen, Zhipeng Wei외 3명|arXiv (Cornell University)|2021. 10. 29.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 총알화면 댓글(BSCs)을 의미 있는 낮은 시야성의 적대적 패치로 사용하여 영상 인식 모델에 대한 새로운 블랙박스 적대적 공격을 제안한다. 공격를 강화학습(RL) 문제로 설정하여 BSC의 위치와 투명도를 최적화함으로써, UCF-101과 HMDB-51에서 90%의 오도율을 달성하면서도 영상의 8% 미만으로 가림을 유발하며, 도시성과 효율성 면에서 기존의 정사각형 패치 공격보다 뛰어나다.

ABSTRACT

Recent research has demonstrated that Deep Neural Networks (DNNs) are vulnerable to adversarial patches which introduce perceptible but localized changes to the input. Nevertheless, existing approaches have focused on generating adversarial patches on images, their counterparts in videos have been less explored. Compared with images, attacking videos is much more challenging as it needs to consider not only spatial cues but also temporal cues. To close this gap, we introduce a novel adversarial attack in this paper, the bullet-screen comment (BSC) attack, which attacks video recognition models with BSCs. Specifically, adversarial BSCs are generated with a Reinforcement Learning (RL) framework, where the environment is set as the target model and the agent plays the role of selecting the position and transparency of each BSC. By continuously querying the target models and receiving feedback, the agent gradually adjusts its selection strategies in order to achieve a high fooling rate with non-overlapping BSCs. As BSCs can be regarded as a kind of meaningful patch, adding it to a clean video will not affect people' s understanding of the video content, nor will arouse people' s suspicion. We conduct extensive experiments to verify the effectiveness of the proposed method. On both UCF-101 and HMDB-51 datasets, our BSC attack method can achieve about 90\% fooling rate when attacking three mainstream video recognition models, while only occluding extless 8\% areas in the video. Our code is available at https://github.com/kay-ck/BSC-attack.

연구 동기 및 목표

• 블랙박스 환경에서 영상 인식 모델에 대한 효과적인 패치 기반 공격의 부족을 해결하기 위해.
• 기존의 직사각형 패치가 아닌 총알화면 댓글(BSCs)을 사용하여 공격의 시각적 인지 가능성과 의심을 줄이기 위해.
• 강화학습을 통해 블랙박스 영상 공격의 쿼리 효율성과 오도율을 향상시키기 위해.
• Local Gradient Smoothing(LGS)와 같은 방어 기법에 대한 BSC의 강건성 평가하기 위해.

제안 방법

• 대상 모델의 피드백을 기반으로 BSC의 위치와 투명도를 선택하는 에이전트를 갖춘 강화학습(RL) 문제로 BSC 공격를 수식화한다.
• 각 영상 프레임에 대해 다양한 의미 있는 BSC를 자동으로 생성하기 위해 이미지 캡션 생성 모델을 사용한다.
• 이중 보상 함수를 설계하여, 하나는 오도율을 최대화하고, 다른 하나는 BSC 간의 IoU를 최소화하여 겹침을 방지한다.
• 시퀀스적 决책을 처리하기 위해 LSTM과 완전 연결 층을 에이전트 정책 네트워크로 사용한다.
• 모델 예측 결과만을 피드백으로 사용하는 블랙박스 환경에서 공격를 적용하여 쿼리 효율적인 최적화를 가능하게 한다.
• 영상 인식 모델의 오분류를 극대화하면서도 시각적 영향을 최소화하도록 BSC를 최적화한다.

실험 결과

연구 질문

• RQ1 총알화면 댓글(BSCs)은 영상 인식 모델에 대해 효과적이고 도시적인 적대적 패치로 활용될 수 있는가?
• RQ2 BSC의 위치와 투명도를 강화학습으로 최적화할 경우, 무작위 또는 기준 방법에 비해 공격의 효율성과 오도율이 어떻게 향상되는가?
• RQ3 기존의 정사각형 패치에 비해 BSC는 얼마나 더 낮은 인지 가능성과 의심을 유도하는가?
• RQ4 Local Gradient Smoothing(LGS)와 같은 방어 기법에 대해 BSC는 얼마나 강건한가?
• RQ5 정사각형 패치보다 훨씬 적은 영상 영역을 가림으로써 BSC는 고오도율을 달성할 수 있는가?

주요 결과

• BSC 공격는 세 가지 주요 영상 모델을 공격할 때 UCF-101과 HMDB-51 데이터셋에서 각각 90%의 오도율을 기록하며, 영상 가림 비율이 8% 미만이다.
• 정사각형 패치에 비해 BSC는 산재하고 비직사각형인 형태 덕분에 가림 면적을 52% 이상 감소시킨다.
• C3D와 LRCN 모델에서 기준 히우리스틱(BH) 방법에 비해 강화학습이 쿼리 수를 22% 이상 감소시킨다.
• 동일한 가림 면적 조건에서 BSC는 정사각형 패치보다 오도율이 높으며, 특히 I3D-Slow 모델에서 HMDB-51에서 93.9% 대비 67.3%로 뚜렷한 우월성을 보인다.
• LGS 방어 기법에 대해 BSC는 정사각형 패치보다 더 강건하며, 동일한 조건에서 더 높은 오도율을 유지한다.
• 시각적 주목도 분석 결과, BSC는 정사각형 패치보다 더 눈에 띄지 않아 즉시 감지될 가능성이 낮다.