[논문 리뷰] Patternless Adversarial Attacks on Video Recognition Networks

Itay Naeh, Roi Pony외 1명|arXiv (Cornell University)|2020. 02. 12.

Adversarial Robustness in Machine Learning인용 수 2

한 줄 요약

이 논문은 인간에게 눈에 띄지 않으며 실제 세계에서 실현 가능한 깜빡임 패턴이 없는 시간적 노이즈를 사용하여 영상 인식 모델에 대한 새로운 유형의 적대적 공격을 제안한다. 이 방법은 통합적이고 시간에 관계없는 노이즈를 통해 높은 오인율을 달성하며, 다양한 모델 간의 전이성과 시뮬레이션과 실물 배포 사이의 격차를 메운다.

ABSTRACT

Deep neural networks for video classification, just like image classification networks, may be subjected to adversarial manipulation. The main difference between image classifiers and video classifiers is that the latter usually use temporal information contained within the video. In this work we present a manipulation scheme for fooling video classifiers by introducing a flickering temporal perturbation that is practically unnoticeable by human observers and is implementable in the real world. After demonstrating the manipulation of action classification of single videos, we generalize the procedure to make universal adversarial perturbation, achieving high fooling ratio. In addition, we generalize the universal perturbation and produce a temporal-invariant perturbation, which can be applied to the video without synchronizing the perturbation to the input. The attack was implemented on several target models and the transferability of the attack was demonstrated. These properties allow us to bridge the gap between simulated environment and real-world application, as will be demonstrated in this paper for the first time for an over-the-air flickering attack.

연구 동기 및 목표

• 인간에게 눈에 띄지 않는 실세계 적용 가능한 영상 인식 모델에 대한 적대적 공격을 개발하는 것.
• 영상 분류에서 시간적 일관성과 운동 역학이 중요한 점을 감안해, 적대적 노이즈를 적용하는 데 도전하는 것.
• 입력 영상의 시간 동기화 없이도 다양한 영상 입력에 대해 효과적인 통합적 적대적 노이즈를 설계하는 것.
• 다양한 영상 분류 모델 간의 공격 전이성(transferability)을 입증하는 것.
• 시뮬레이션된 적대적 공격과 실세계 공기 중 배포 사이의 격차를 메우는 것.

제안 방법

• 공격은 시간적으로 구조화되어 있지만 패턴이 없는 깜빡임 패턴의 시간적 노이즈를 도입하여 인간 관찰자에게 최소한의 눈에 띄움을 유도한다.
• 노이즈는 영상 입력의 잘못된 분류를 극대화하면서도 시각적 눈에 띄움을 유지하도록 최적화된다.
• 모든 영상 입력에 적용 가능한 통합적 노이즈를 학습하여 다양한 입력에서 높은 오인율을 달성한다.
• 이 방법은 시간에 관계없는 노이즈로 일반화되어 입력 영상 프레임과의 동기화가 필요 없음을 제거한다.
• 공격은 여러 영상 분류 모델에 적용되어 아키텍처 간 전이성의 가능성을 입증한다.
• 방법은 시뮬레이션 및 실세계 설정에서 평가되어 공기 중 구현 가능성(over-the-air feasibility)을 검증한다.

실험 결과

연구 질문

• RQ1 깜빡임이 있고 패턴이 없는 시간적 노이즈를 설계하여 영상 인식 모델을 속일 수 있을까? 이 노이즈는 인간에게 눈에 띄지 않을까?
• RQ2 제안된 통합적 적대적 노이즈는 다양한 영상 분류 모델에 대해 얼마나 효과적인가?
• RQ3 시간에 관계없는 노이즈를 구성하여 입력 영상 프레임 수준의 동기화 없이도 효과를 유지할 수 있을까?
• RQ4 이 공격은 얼마나 다양한 영상 인식 모델 간에 전이될 수 있는가?
• RQ5 이 공격은 실세계 공기 중 환경에서 성공적으로 구현될 수 있는가?

주요 결과

• 제안된 깜빡임 패턴이 없는 시간적 노이즈는 인간 관찰자에게 거의 눈에 띄지 않으면서도 영상 인식 모델에 높은 오인율을 달성한다.
• 통합적 적대적 노이즈는 여러 영상 분류 모델 간에 강력한 전이성을 보이며 광범위한 적용 가능성을 시사한다.
• 시간에 관계없는 노이즈는 입력 영상 프레임과의 동기화 없이도 높은 공격 성공률을 유지하여 실세계 적용 가능성은 향상된다.
• 공격은 공기 중 환경에서 성공적으로 구현되어 실세계 배포 시나리오에서의 실현 가능성을 입증한다.
• 이 방법은 시뮬레이션된 적대적 공격과 실세계 물리적 응용 사이의 격차를 효과적으로 메운다.