[논문 리뷰] Over-the-Air Adversarial Flickering Attacks against Video Recognition Networks

Roi Pony, Itay Naeh외 1명|arXiv (Cornell University)|2020. 02. 12.

Adversarial Robustness in Machine Learning참고 문헌 36인용 수 4

한 줄 요약

이 논문은 RGB LED 전구에서 유도된 미세한 시간에 따라 변하는 RGB 조명 노이즈를 사용하여 비디오 동작 인식 모델을 조작하는 공기 중(adversarial flickering) 공격을 제안한다. 비추종성과 시간 불변성에 최적화함으로써, 이 방법은 I3D 모델에서 93%의 오염 비율을 달성하며, 입력 비디오와의 프레임 동기화 없이도 다양한 모델로의 전이성을 입증한다.

ABSTRACT

Deep neural networks for video classification, just like image classification networks, may be subjected to adversarial manipulation. The main difference between image classifiers and video classifiers is that the latter usually use temporal information contained within the video. In this work we present a manipulation scheme for fooling video classifiers by introducing a flickering temporal perturbation that in some cases may be unnoticeable by human observers and is implementable in the real world. After demonstrating the manipulation of action classification of single videos, we generalize the procedure to make universal adversarial perturbation, achieving high fooling ratio. In addition, we generalize the universal perturbation and produce a temporal-invariant perturbation, which can be applied to the video without synchronizing the perturbation to the input. The attack was implemented on several target models and the transferability of the attack was demonstrated. These properties allow us to bridge the gap between simulated environment and real-world application, as will be demonstrated in this paper for the first time for an over-the-air flickering attack.

연구 동기 및 목표

• 물리적 조명 조절을 통해 실세계 적용이 가능한 비디오 동작 인식 모델에 대한 대비 공격을 개발한다.
• 시간적 부드러움과 감소된 시공간적 거친 정도를 통해 인간 관찰자에게 인식 불가능한 대비 노이즈를 확보한다.
• 입력 비디오의 사전 지식 없이도 적용 가능한 일반화된, 시간 불변성 대비 노이즈를 구성한다.
• 다양한 비디오 인식 모델 간의 공격 전이성과 실세계 구현 가능성을 입증한다.
• 비디오 분류 시스템에서 시뮬레이션된 대비 공격과 실세계 물리적 구현 간 격차를 메운다.

제안 방법

• 각 프레임에 균일한 RGB 노이즈를 적용하여 자연광 변화를 모방하는 깜빡임 시간 패턴을 생성한다.
• 최적화 과정에서 두 가지 정규화 항을 도입한다: 하나는 시간적 부드러움(깜빡임 빈도 감소)을 위한 것이고, 다른 하나는 진폭 제어(인식 가능성 최소화)를 위한 것이다.
• 대비 손실 함수를 수정하여 타겟 모델을 속이는 것과 정규화를 통한 인식 가능성 최소화를 동시에 최적화한다.
• 행동 및 장면 간 일반화가 가능한 유니버설 노이즈를 구성하여 입력 비디오의 사전 지식 없이도 적용 가능하게 한다.
• Wi-Fi 제어가 가능한 RGB LED 전구를 통해 공격 패턴을 공기 중으로 전송하여 실제 조명 조건을 조절함으로써 공격을 실현한다.
• 시간 불변성 노이즈를 사용하여 공격 신호와 비디오 입력 간의 프레임 수준 동기화가 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 깜빡임 대비 노이즈는 인간 관찰자에게 인식 불가능하게 유지하면서도 비디오 동작 인식 모델을 효과적으로 속일 수 있는가?
• RQ2 입력 비디오에 대한 동기화 없이도 다양한 비디오 입력에 대해 작동하는 일반화된, 시간 불변성 대비 노이즈를 구성할 수 있는가?
• RQ3 실세계 환경에서 다양한 비디오 인식 모델 간에 공격의 전이성이 어느 정도 이루어지는가?
• RQ4 스마트 RGB 전구와 같은 실제 조명 장치를 사용하여 공격를 성공적으로 실현할 수 있는가?
• RQ5 시간적 정규화와 수정된 대비 손실 함수의 조합이 공격의 인식 가능성과 효과성에 어떻게 기여하는가?

주요 결과

• 제안된 깜빡임 공격는 I3D 모델에서 유니버설이고 시간 불변성 노이즈를 사용하여 비디오 동작 인식에 대해 93%의 오염 비율을 달성한다.
• 노이즈가 부드럽고 시간적으로 제약을 받을 경우 인간 관찰자에게 인식 불가능하다는 것이 비디오 예시를 통해 입증된다.
• Wi-Fi 제어가 가능한 RGB LED 전구를 통해 실세계 조명 조건을 조절하는 공기 중 구현이 성공적으로 이루어졌다.
• 공격는 다양한 비디오 인식 모델, 특히 Kinetics-400 벤치마크의 모델들 사이에서 강력한 전이성을 보였다.
• 시간 불변성 노이즈 덕분에 입력 비디오의 프레임 수준 동기화 없이도 실세계 적용 가능성이 확보되었다.
• 카메라의 RGB 반응 및 색채 교차 효과가 이상 모델과 다를 경우에도 공격는 효과를 유지하여 실세계 조건에서의 강건성을 확인했다.