[논문 리뷰] Cross-Modal Transferable Adversarial Attacks from Images to Videos

Zhipeng Wei, Jingjing Chen외 2명|arXiv (Cornell University)|2021. 12. 10.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 ImageNet 사전 훈련된 이미지 모델에서 검은 상자 비디오 인식 모델로의 교차 모odal 적인 이상치 공격을 위한 Image To Video (I2V) 공격을 제안한다. 이는 이상치 프레임과 정상 프레임의 중간 특징 간 코사인 유사도를 최소화하여, 이미지 모델의 훈련된 특징 공간을 활용해 비디오 모델로의 공격 전이를 가능하게 한다. 이 방법은 Kinetics-400과 UCF-101에서 각각 평균 77.88% 및 65.68%의 공격 성공률을 기록하여 뚜렷한 교차 모달 전이 가능성을 입증한다.

ABSTRACT

Recent studies have shown that adversarial examples hand-crafted on one white-box model can be used to attack other black-box models. Such cross-model transferability makes it feasible to perform black-box attacks, which has raised security concerns for real-world DNNs applications. Nevertheless, existing works mostly focus on investigating the adversarial transferability across different deep models that share the same modality of input data. The cross-modal transferability of adversarial perturbation has never been explored. This paper investigates the transferability of adversarial perturbation across different modalities, i.e., leveraging adversarial perturbation generated on white-box image models to attack black-box video models. Specifically, motivated by the observation that the low-level feature space between images and video frames are similar, we propose a simple yet effective cross-modal attack method, named as Image To Video (I2V) attack. I2V generates adversarial frames by minimizing the cosine similarity between features of pre-trained image models from adversarial and benign examples, then combines the generated adversarial frames to perform black-box attacks on video recognition models. Extensive experiments demonstrate that I2V can achieve high attack success rates on different black-box video recognition models. On Kinetics-400 and UCF-101, I2V achieves an average attack success rate of 77.88% and 65.68%, respectively, which sheds light on the feasibility of cross-modal adversarial attacks.

연구 동기 및 목표

• 이미지 모델에서 비디오 모델로의 이상치 편향의 교차 모달 전이 가능성을 조사하기 위해.
• 화이트박스 비디오 모델에 대한 액세스 없이도 서로 다른 데이터 모달(이미지 대비 비디오) 간 이상치 예제를 전이하는 데 도전하는 것.
• 이미지 모델과 비디오 모델 간의 공유된 중간 특징 공간을 활용하여 효과적인 검은 상자 비디오 공격를 개발하기 위해.
• 이미지 모델의 중간 레이어에서 특징 수준의 유사도 최적화를 통해 전이 가능성을 향상시키기 위해.
• 실제 DNN 응용 분야에서 교차 모달 이상치 공격의 실현 가능성과 효과성을 검증하기 위해.

제안 방법

• I2V 공격는 ImageNet 사전 훈련된 이미지 모델 내에서 이상치 프레임과 정상 프레임의 중간 특징 간 코사인 유사도를 최소화하여 이상치 비디오 프레임을 생성한다.
• 비디오 클립의 각 프레임은 독립적으로 이미지 모델을 통해 처리되어 특징 공간 최적화를 통해 이상치 프레임을 생성한다.
• 이 방법은 이미지 모델과 비디오 모델 간의 저수준 특징 표현에서 관찰된 유사성을 활용하여 교차 모달 전이를 가능하게 한다.
• 공격는 중간 레이어 공간에서 이상치 특징가 정상 특징과 수직이 되도록 유도하는 손실 함수를 사용한다.
• 다중 이미지 모델을 공격하는 데 사용되는 앙상블 변형인 ENS-I2V가 제안되어 전이 가능성을 추가로 향상시킨다.
• 원본 비디오 클립의 시간 순서를 기반으로 생성된 이상치 프레임을 그룹화하여 시간적 일관성을 유지한다.

Figure 1 : Overview of the proposed I2V attack. Given a video clip with a true label of “Catching or throwing baseball”, where each frame is input into the ImageNet-pretrained image model separately. Then the image model generates adversarial frames by minimizing the cosine similarity between featur

실험 결과

연구 질문

• RQ1 이미지 모델에서 생성된 이상치 편향이 검은 상자 비디오 인식 모델로 성공적으로 전이될 수 있는가?
• RQ2 이미지 모델과 비디오 모델 간에 교차 모달 이상치 전이를 가능하게 하는 공유된 중간 특징 공간이 존재하는가?
• RQ3 비디오 모델에 화이트박스 액세스가 없는 상황에서 비디오 모델을 위한 이상치 공격를 어떻게 설계할 수 있는가?
• RQ4 비디오 레이블가 없는 조건에서 이미지에서 비디오 모델로의 전이 가능성을 극대화하는 최적화 목표는 무엇인가?
• RQ5 다양한 이미지 모델을 대상으로 한 앙상블 공격가 교차 모달 공격 성공률을 추가로 향상시킬 수 있는가?

주요 결과

• I2V 공격는 Kinetics-400에서 평균 77.88%, UCF-101에서 65.68%의 공격 성공률을 기록하여 강력한 교차 모달 전이 가능성을 입증한다.
• 이 방법은 비디오 모델에 대한 화이트박스 액세스가 필요 없음에도 불구하고, 미세조정된 기준 공격(예: ILAF)보다 우수한 성능을 보인다.
• Kinetics-400에서 I2V 공격는 화이트박스 모델이 TPN-101일 경우 기준 공격보다 열등한 성능을 보였는데, 이는 TPN-101의 뛰어난 운동 모델링 능력 때문일 수 있다.
• 이미지 및 비디오 특징의 코사인 유사도 추세 간 피어슨 상관계수(PCC)는 1에 가까워, 강한 선형 상관관계와 효과적인 특징 수준 정렬을 나타낸다.
• ENS-I2V 변형은 전이 가능성을 추가로 향상시켜, 앙상블 공격가 다양한 비디오 모델 아키텍처에 걸쳐 강건성을 향상시킨다는 것을 보여준다.
• 결과는 이미지와 비디오와 같은 서로 다른 모달 간에도 교차 모달 이상치 전이 가능성이 실현 가능하고 효과적이라는 것을 확인한다.

Figure 2 : Cosine similarity analysis of intermediate features between image models and video models on benign examples and adversarial examples. The cosine similarities are calculated on the averaged intermediate features extracted from 400 randomly selected videos in Kinetics-400. Adversarial vide