[논문 리뷰] Black-box Adversarial Attacks on Video Recognition Models

Linxi Jiang, Xingjun Ma외 3명|arXiv (Cornell University)|2019. 04. 10.

Adversarial Robustness in Machine Learning참고 문헌 45인용 수 9

한 줄 요약

이 논문은 영상 인식 모델을 대상으로 한 첫 번째 블랙박스 적대적 공격 프레임워크인 V-BAD를 제안한다. 이는 이미지 모델에서 유전된 전이 가능한 편향을 활용하고, NES 기반의 패치 단위 정규화를 통해 효율적인 적대적 기울기 추정을 수행한다. 전체적으로 3.4–8.4×10⁴회의 쿼리만으로도 93% 이상의 타겟 공격 성공률를 달성하며, 영상 모델의 높은 차원성에도 불구하고 높은 효율성을 입증한다.

ABSTRACT

Deep neural networks (DNNs) are known for their vulnerability to adversarial examples. These are examples that have undergone small, carefully crafted perturbations, and which can easily fool a DNN into making misclassifications at test time. Thus far, the field of adversarial research has mainly focused on image models, under either a white-box setting, where an adversary has full access to model parameters, or a black-box setting where an adversary can only query the target model for probabilities or labels. Whilst several white-box attacks have been proposed for video models, black-box video attacks are still unexplored. To close this gap, we propose the first black-box video attack framework, called V-BAD. V-BAD utilizes tentative perturbations transferred from image models, and partition-based rectifications found by the NES on partitions (patches) of tentative perturbations, to obtain good adversarial gradient estimates with fewer queries to the target model. V-BAD is equivalent to estimating the projection of an adversarial gradient on a selected subspace. Using three benchmark video datasets, we demonstrate that V-BAD can craft both untargeted and targeted attacks to fool two state-of-the-art deep video recognition models. For the targeted attack, it achieves $>$93\% success rate using only an average of $3.4 \sim 8.4 imes 10^4$ queries, a similar number of queries to state-of-the-art black-box image attacks. This is despite the fact that videos often have two orders of magnitude higher dimensionality than static images. We believe that V-BAD is a promising new tool to evaluate and improve the robustness of video recognition models to black-box adversarial attacks.

연구 동기 및 목표

• 이미지 모델에서 알려진 취약성에도 불구하고 아직 탐색되지 않은 영상 인식 모델에 대한 블랙박스 적대적 공격의 부재를 해결하기 위해.
• 고차원 영상 입력에서 쿼리 복잡도를 줄이는 데 효율적인 블랙박스 공격 프레임워크를 개발하기 위해.
• 쿼리 효율적인 방법을 사용하여 최신 영상 모델의 블랙박스 적대적 공격에 대한 강건성을 평가하기 위해.
• 이미지 기반의 편향 전이 가능성과 그에 따른 분할 기반 정규화를 통한 향상 여부를 영상 공격 환경에서 조사하기 위해.

제안 방법

• V-BAD는 사전 학습된 ImageNet 모델을 사용하여 진정한 적대적 기울기 방향을 근사하기 위해 일시적인 편향을 생성한다.
• 영상 입력을 공간 패치로 분할하고, 각 패치에 대해 자연 진화 전략(Natural Evolution Strategies, NES)을 적용하여 방향 도함수를 추정함으로써 기울기 추정을 효율적으로 수행한다.
• 선택된 부분공간에서 최적화를 통해 일시적인 편향을 정규화함으로써, 전체 픽셀 단위 기울기 계산 없이도 기울기 추정 정확도를 향상시킨다.
• V-BAD는 진정한 적대적 기울기의 저차원 부분공간에 대한 투영을 추정하여 쿼리 비용을 줄이면서도 높은 공격 성공률를 유지한다.
• 이 프레임워크는 타겟 공격과 비타겟 공격 모두를 지원하며, 다양한 영상 데이터셋과 모델에서 쿼리 효율성이 유지된다.
• 이미지 모델에서의 전이 가능성과 NES를 통한 반복적 정밀 조정을 활용하여 정확도와 쿼리 효율성의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 고차원 영상 입력에서 높은 차원성으로 인해 블랙박스 적대적 공격가 영상 인식 모델에 효과적으로 적용될 수 있는가?
• RQ2 제한된 모델 쿼리 수로 고차원 영상 공간에서 적대적 기울기 추정을 어떻게 효율적으로 수행할 수 있는가?
• RQ3 이미지 모델에서 유래한 전이 가능한 편향이 영상 모델에 대한 공격 성능 향상에 어느 정도 기여하는가?
• RQ4 NES를 활용한 분할 기반 정규화가 영상 공격 프레임워크에서 기울기 추정 품질을 어떻게 향상시키는가?
• RQ5 블랙박스 영상 적대적 공격에서 쿼리 효율성과 공격 성공률 사이의 상호 상충 관계는 어떠한가?

주요 결과

• V-BAD는 평균 3.4–8.4×10⁴회의 쿼리만으로 두 개의 최신 영상 모델에서 93% 이상의 타겟 공격 성공률를 달성하며, 최고 수준의 블랙박스 이미지 공격 효율성과 유사한 성능을 보였다.
• 비타겟 공격의 경우, 타겟 공격에 비해 약 10%의 쿼리로도 충분하며, 몇 백 회의 쿼리 내로 CNN+LSTM 모델을 성공적으로 공격했다.
• V-BAD의 정규화된 편향은 진정한 기울기와 약 4.66×10⁻³의 코사인 유사도를 보였으며, 이는 NES 기반 정규화의 효과를 확인한다.
• 초기 전이 편향이 음의 코사인 유사도(-2.743×10⁻⁴)를 보였음에도 불구하고, 전이 가능성 덕분에 강력한 초기화로 기능하여 최종 기울기 추정을 향상시켰다.
• P-BAD와 SR-BAD와 같은 기준 모델에 비해 V-BAD는 특히 CNN+LSTM 모델에서 뛰어난 성능을 보였으며, UCF-101에서 정확도 저하가 5% 이하로 유지되었고, 다른 모델들은 50% 이상 저하되었다.
• 이 프레임워크는 영상 모델도 이미지 모델만큼 블랙박스 공격에 취약하다는 점을 입증하며, 영상 인식 시스템에서 강력한 방어 기법이 필요하다는 점을 강조한다.