[논문 리뷰] Heuristic Black-box Adversarial Attacks on Video Recognition Models

Zhipeng Wei, Jingjing Chen외 5명|arXiv (Cornell University)|2019. 11. 21.

Adversarial Robustness in Machine Learning참고 문헌 30인용 수 11

한 줄 요약

이 논문은 영상 인식 모델을 대상으로 한 히우리스틱 흑상자 공격을 제안하며, 핵심 프레임과 주목할 만한 영역에만 초점을 맞춰 쿼리 비용을 줄이고, UCF-101과 HMDB-51에서 기준 방법 대비 28% 이상 적은 쿼리를 사용하면서도 눈에 띄지 않는 교란을 유지한다. 이는 시간적 및 공간적 희소성의 통합을 통해 달성된다.

ABSTRACT

We study the problem of attacking video recognition models in the black-box setting, where the model information is unknown and the adversary can only make queries to detect the predicted top-1 class and its probability. Compared with the black-box attack on images, attacking videos is more challenging as the computation cost for searching the adversarial perturbations on a video is much higher due to its high dimensionality. To overcome this challenge, we propose a heuristic black-box attack model that generates adversarial perturbations only on the selected frames and regions. More specifically, a heuristic-based algorithm is proposed to measure the importance of each frame in the video towards generating the adversarial examples. Based on the frames' importance, the proposed algorithm heuristically searches a subset of frames where the generated adversarial example has strong adversarial attack ability while keeps the perturbations lower than the given bound. Besides, to further boost the attack efficiency, we propose to generate the perturbations only on the salient regions of the selected frames. In this way, the generated perturbations are sparse in both temporal and spatial domains. Experimental results of attacking two mainstream video recognition methods on the UCF-101 dataset and the HMDB-51 dataset demonstrate that the proposed heuristic black-box adversarial attack method can significantly reduce the computation cost and lead to more than 28\% reduction in query numbers for the untargeted attack on both datasets.

연구 동기 및 목표

• 영상 인식 모델에 대한 흑상자 공격에서 고차원 영상 데이터로 인한 높은 쿼리 비용 문제를 해결한다.
• 영상 데이터의 시간적 및 공간적 희소성을 활용하여 공격의 쿼리 복잡도를 줄이고, 핵심 프레임과 주목할 만한 영역에만 집중한다.
• 모델 아키텍처나 기울기 정보 없이도 공격 효율성을 향상시켜 실생활 영상 감시 환경에 적합하게 한다.
• 공격 성공률를 극대화하면서 교란 크기를 최소화하는 데 목적이 있는 히우리스틱 프레임워크를 개발한다.
• 다양한 영상 인식 모델(LRCN, C3D)과 벤치마크 데이터셋(UCF-101, HMDB-51)에서의 효과성을 입증한다.

제안 방법

• 영상 분류에 기여도가 높은 핵심 프레임을 식별하기 위한 히우리스틱 알고리즘을 제안하여, 교란의 탐색 공간을 축소한다.
• 선택된 핵심 프레임에서 주목할 만한 영역(일반적으로 전경 객체)을 국소화하기 위해 사활성 탐지 기법을 적용하여 교란 생성에 집중한다.
• 기타 클래스의 샘플에서 교란 방향을 초기화한 후, 쿼리 사용량을 최소화하기 위해 선택된 프레임과 영역을 반복적으로 정밀 조정한다.
• 최적의 프레임과 영역을 선택한 후, 제로계수 최적화(ZOO)를 사용하여 방향을 업데이트하며, 낮은 교란 크기를 유지한다.
• 평균 절대 교란(MAP)에 하한을 설정하여 눈에 띄지 않음을 보장하면서도, 교란을 가하는 프레임 수와 공간적 영역 수를 최소화한다.
• 시간적 및 공간적 희소성 히우리스틱을 통합하여, 가장 영향력 있는 영상 세그먼트와 영역에 집중함으로써 쿼리 수를 줄인다.

실험 결과

연구 질문

• RQ1 핵심 프레임의 히우리스틱 선택이 영상 인식 모델에 대한 흑상자 공격에서 쿼리 비용을 줄일 수 있는가?
• RQ2 시간적 희소성(핵심 프레임 선택)과 비교해 공간적 희소성(주목할 만한 영역 타겟팅)이 쿼리 수 감소에 얼마나 효과적인가?
• RQ3 시간적 및 공간적 희소성을 통합함으로써 공격 효율성을 얼마나 향상시킬 수 있으며, 공격 성공률와 눈에 띄지 않음 조건을 유지할 수 있는가?
• RQ4 표적 공격에서 공간적 희소성 도입이 왜 교란 크기를 증가시키며, 이는 수렴에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 기울기 정보 없이 다양한 영상 모델과 데이터셋에서 강력한 공격 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 UCF-101과 HMDB-51 데이터셋에서 비표적 공격 시 Opt-attack 기준 대비 쿼리 수를 28% 이상 감소시켰다.
• C3D와 LRCN 모델에서 시간적 및 공간적 희소성을 동시에 도입함으로써 쿼리 수가 28% 이상 감소했으며, 공간적 희소성이 시간적 희소성만 사용할 경우보다 더 뚜렷한 기여를 하였다.
• 표적 공격에서는 LRCN 모델에서 쿼리 수를 445,279에서 399,655로 줄여 UCF-101에서 19.59%의 감소를 달성하였다.
• 쿼리 수를 줄였음에도 불구하고, 표적 공격에서 공간적 희소성은 MAP와 MAP*를 크게 증가시켜 모델을 속이기 위해 더 높은 교란 에너지가 필요함을 시사했다.
• 그림 2에서 시각화한 바와 같이, 제안된 방법은 핵심 프레임의 전경 객체에 집중된 눈에 띄지 않는 희소 교란을 성공적으로 생성하였다.
• 히우리스틱 프레임 선택 과정은 UCF-101에서 약 12%의 쿼리를 소모하였으며, 이는 프레임 선택이 최적화 과정에서 비중 있는 역할을 한다는 것을 시사한다.