[논문 리뷰] Flickering Adversarial Attacks against Video Recognition Networks

Itay Naeh, Roi Pony외 1명|arXiv (Cornell University)|2020. 02. 12.

Adversarial Robustness in Machine Learning참고 문헌 15인용 수 1

한 줄 요약

이 논문은 거의 미감지 가능한 시간에 따라 변하는 교란을 사용하여 영상 인식 모델의 시간적 비일관성을 악용하는 깜빡임 적대적 공격을 제안한다. 이러한 교란을 영상 전반에 일관되게 적용하고 시간적으로 불변하게 만들면, 최소한의 입력 데이터로도 실제 환경에서 높은 오염률을 달성할 수 있으며, 시뮬레이션과 실용적 구현 사이의 격차를 좁힐 수 있다.

ABSTRACT

Deep neural networks for video classification, just like image classification networks, may be subjected to adversarial manipulation. The main difference between image classifiers and video classifiers is that the latter usually use temporal information contained within the video. In this work we present a manipulation scheme for fooling video classifiers by introducing a flickering temporal perturbation that is practically unnoticeable by human observers and is implementable in the real world. After demonstrating the manipulation of action classification of single videos, we generalize the procedure to make universal adversarial perturbation by using only dozens of videos, achieving high fooling ratio. In addition, we generalize the universal perturbation and produce a temporal-invariant perturbation, which can be applied to the video without synchronizing the perturbation to the input. These properties allow us to bridge the gap between simulated environment and real-world application.

연구 동기 및 목표

• 영상 분류 모델의 시간적 동역학을 악용하는 적대적 공격을 개발하기 위해.
• 사람에게 거의 감지되지 않지만 영상 분류기의 오작동을 유도하는 데 효과적인 교란을 만들기 위해.
• 단일 영상 공격을 오직 수십 개의 영상로만 사용하여 일반화된 교란으로 전환하기 위해.
• 입력 영상의 타이밍과 동기화가 필요 없는 시간적으로 불변한 교란을 설계하기 위해.

제안 방법

• 인간 관찰자가 감지하지 못하도록 빠르게 프레임을 번갈아 가며 교란을 생성하는 깜빡임 시간적 교란을 도입한다.
• 기울기 기반 최적화를 적용하여 영상 모델에서 오분류를 최대화하는 적대적 교란을 생성한다.
• 작은 영상 세트를 통해 일반화된 교란을 학습하여, 예측되지 않은 영상으로의 전이 가능성을 확보한다.
• 입력 영상 타이밍에서 교란을 분리하여 시간적으로 불변한 교란을 구성함으로써, 동기화 없이 적용 가능하게 한다.

실험 결과

연구 질문

• RQ1 깜빡임 시간적 교란은 인간 관찰자에게 거의 감지되지 않으면서도 영상 인식 모델을 효과적으로 오염시킬 수 있는가?
• RQ2 최소한의 학습 데이터(수십 개의 영상)로도 일반화된 적대적 교란을 학습할 수 있는가?
• RQ3 타이밍 정렬 없이도 영상 간에 적용 가능한 시간적으로 불변한 교란을 구성할 수 있는가?
• RQ4 이러한 공격은 다양한 영상 인식 모델 간에 얼마나 일반화되는가?

주요 결과

• 제안된 깜빡임 교란은 인간 관찰자에게 거의 감지되지 않으면서도 영상 분류 모델에서 높은 오염률을 달성한다.
• 오직 수십 개의 영상로만 사용하여도 일반화된 적대적 교란을 성공적으로 학습할 수 있어 데이터 요구량을 크게 줄였다.
• 시간적으로 불변한 교란은 입력 영상의 동기화 없이도 적용 가능하여 실제 환경 적용 가능성은 향상되었다.
• 이 방법은 다양한 영상 인식 아키텍처 간에 강력한 전이성을 보이며, 강건성과 일반화 능력을 시사한다.