[논문 리뷰] Appending Adversarial Frames for Universal Video Attack

Zhikai Chen, Lingxi Xie외 3명|arXiv (Cornell University)|2019. 12. 10.

Adversarial Robustness in Machine Learning참고 문헌 23인용 수 11

한 줄 요약

이 논문은 비디오 클립의 끝부분에 '시청해 주셔서 감사합니다'와 같은 텍스트 프레임과 같은 적대적 프레임을 첨부하고, 이러한 새로운 프레임에만 교란을 가하는 새로운 유니버설 비디오 공격 방법을 제안한다. 비디오의 시간적 구조와 종료 프레임의 낮은 인지 가능성을 활용하여, 높은 공격 성공률, 낮은 인지 가능성, 다양한 모델 간 강력한 이식성(transferability)을 달성하며, 기준 방법들보다도 공격 성공률과 적대적 교란 크기 측면에서 뛰어나다.

ABSTRACT

There have been many efforts in attacking image classification models with adversarial perturbations, but the same topic on video classification has not yet been thoroughly studied. This paper presents a novel idea of video-based attack, which appends a few dummy frames (e.g., containing the texts of `thanks for watching') to a video clip and then adds adversarial perturbations only on these new frames. Our approach enjoys three major benefits, namely, a high success rate, a low perceptibility, and a strong ability in transferring across different networks. These benefits mostly come from the common dummy frame which pushes all samples towards the boundary of classification. On the other hand, such attacks are easily to be concealed since most people would not notice the abnormality behind the perturbed video clips. We perform experiments on two popular datasets with six state-of-the-art video classification models, and demonstrate the effectiveness of our approach in the scenario of universal video attacks.

연구 동기 및 목표

• 이미지 기반 공격에 비해 비디오 분류 분야에서의 적대적 공격에 대한 종합적인 연구 부족을 해결하기 위해.
• 비디오 종료부의 시간적 부족성과 인지 감도의 낮음을 활용하여, 더 은폐 가능하고 효과적인 공격 방법을 설계하기 위해.
• 첨부된 프레임을 통한 입력 공간 조작을 통해 다양한 비디오 분류 모델 간 적대적 교란의 이식성을 향상시키기 위해.
• 특히 블랙박스 설정에서 공격 성공률를 유지하면서도 적대적 노이즈의 인지 가능성을 낮추기 위해.

제안 방법

• 비디오 클립의 끝부분에 '시청해 주셔서 감사합니다'와 같은 텍스트가 포함된 더미 프레임을 하나 이상 첨부하여 공격용 새로운 입력을 생성한다.
• 원본 비디오 프레임은 그대로 두고, 이러한 첨부된 프레임에만 적대적 교란을 적용한다.
• 모델의 예측을 목표 클래스로 이동시키는 최소한의 교란을 계산하기 위해 기울기 기반 최적화 방법을 사용한다.
• 이웃 프레임 간의 특징 차이를 최소화하여 특징 공간 방어 회피 전략을 구현한다.
• 다양한 비디오에 걸쳐 공격 방향을 제약하여 유니버설 교란 전략을 구현하고, 이식성을 향상시킨다.
• 중간 레이어 표현을 활용하여 교란을 정교화하고, 단순한 프레임 차이 감지기의 존재하에서도 인지 가능성을 낮춘다.

실험 결과

연구 질문

• RQ1 비디오 클립에 적대적 프레임을 첨부하는 방식이, 프레임 수준의 교란보다 더 효과적이고 은폐 가능한 유니버설 공격을 가능하게 하는가?
• RQ2 공유된 더미 프레임의 사용이 다양한 비디오 분류 모델 간 적대적 교란의 이식성에 어떤 영향을 미치는가?
• RQ3 이 방법은 높은 공격 성공률를 유지하면서 얼마나 인지 가능성을 낮출 수 있는가?
• RQ4 왜 제안된 방법이 기존의 유니버설 공격 방법보다 더 강력한 이식성을 달성하는가?
• RQ5 이 방법은 단순한 프레임 차이 기반 방어에 대해 강건한가?

주요 결과

• 제안된 방법 A2FM는 UCF101에서 I3D-ResNet 기준 98.1%의 공격 성공률, I3D-Inception 기준 98.0%를 기록하였으며, 평균 적대적 교란(AAP)은 각각 0.15와 0.13로, BAM의 0.28과 0.30보다 유의미하게 낮다.
• HMDB51 데이터셋에서 A2FM는 I3D-ResNet 기준 98.0%의 공격 성공률, I3D-Inception 기준 98.0%를 기록하였으며, AAP 값은 각각 0.13과 0.08로, 뛰어난 성능과 낮은 인지 가능성을 보였다.
• 타겟 공격의 경우, A2FM는 BAM과 유사한 공격 성공률(예: I3D-ResNet 기준 97.7% 대 97.6%)을 달성했지만, AAP가 41% 감소(0.17 대 0.29)하여 보다 효율적인 교란을 구현했다.
• 이 방법은 우수한 이식성을 보이며, 한 모델에서 계산된 교란이 새로운 모델으로도 잘 일반화됨을 보였다. 특히 더미 프레임을 여러 비디오 간에 공유할 경우 더욱 두드러졌다.
• 기구 분석 결과, 적대적 프레임을 첨부하면 공격 방향이 더 균일해져 상쇄 효과가 감소하고, 강력한 유니버설 교란이 가능해짐을 확인했다.
• 교란 설계 시 이웃 프레임 간의 특징 불일치를 최소화하여, 단순한 프레임 차이 기반 방어자를 효과적으로 회피함을 입증했다.