[논문 리뷰] Motion-Excited Sampler: Video Adversarial Attack with Sparked Prior

Hu Zhang, Linchao Zhu외 2명|arXiv (Cornell University)|2020. 03. 17.

Adversarial Robustness in Machine Learning참고 문헌 40인용 수 6

한 줄 요약

이 논문은 효율적인 블랙박스 영상 적대적 공격을 위해 운동 감지 노이즈 사전('스파크드 프리오르')을 생성하는 운동 자극 샘플러를 제안한다. 광학 흐름을 활용해 노이즈 샘플링을 유도함으로써, 네 개의 영상 행동 인식 데이터셋에서 랜덤 또는 비운동 감지 기반 베이스라인 대비 훨씬 적은 쿼리로 더 빠른 수렴과 더 높은 성공률을 달성한다.

ABSTRACT

Deep neural networks are known to be susceptible to adversarial noise, which are tiny and imperceptible perturbations. Most of previous work on adversarial attack mainly focus on image models, while the vulnerability of video models is less explored. In this paper, we aim to attack video models by utilizing intrinsic movement pattern and regional relative motion among video frames. We propose an effective motion-excited sampler to obtain motion-aware noise prior, which we term as sparked prior. Our sparked prior underlines frame correlations and utilizes video dynamics via relative motion. By using the sparked prior in gradient estimation, we can successfully attack a variety of video classification models with fewer number of queries. Extensive experimental results on four benchmark datasets validate the efficacy of our proposed method.

연구 동기 및 목표

• 이미지 기반 적대적 공격 방법의 영상 모델로의 전이 효과를 조사한다.
• 시간적 동적 특성과 운동 패턴을 활용해 영상 적대적 공격 연구의 격차를 해소한다.
• 운동 정보를 활용해 영상 분류 모델에 대해 쿼리 효율적인 블랙박스 공격 방법을 개발한다.
• 운동 감지 노이즈 사전가 기울기 추정과 공격 효율성을 랜덤 또는 프레임 독립적 노이즈보다 향상시킨다는 것을 입증한다.
• 다양한 영상 데이터셋과 모델에서 운동 맵 품질과 손실 함수 선택의 경험적 검증을 제공한다.

제안 방법

• 연속 영상 프레임 간의 광학 흐름 또는 운동 벡터를 사용해 프레임 간 운동을 캡처하는 운동 맵을 구축한다.
• 운동 맵을 기반으로 무작위 노이즈 선택을 유도하는 운동 자극 샘플러를 설계하여 운동 감지 노이즈 사전('스파크드 프리오르')을 생성한다.
• 스파크드 프리오르를 기울기 추정에 활용하여 반복적인 적대적 예제 생성을 개선하고, 공격 최적화 과정의 탐색 효율성을 향상시킨다.
• 모델 기울기 의존도 없이 입력-출력 쿼리만 이용 가능한 블랙박스 환경에서 방법을 적용한다.
• 최적화 과정에서 교차 엔트로피, 확률 기반, 로짓 기반 손실 함수를 비교하여 가장 효과적인 목표를 도출한다.
• 운동 맵을 수작업으로 만든 맵(균일 및 순차적)으로 교체하여 내재된 운동 패턴의 중요성을 분석한다.

실험 결과

연구 질문

• RQ1 이미지 공격에서의 단순 전이 대비 영상 적대적 공격에 운동 정보를 통합하면 공격 효율성과 성공률가 향상되는가?
• RQ2 운동 맵의 구조(예: 내재된 운동 vs. 수작업으로 만든 패턴)는 공격 성능에 어떤 영향을 미치는가?
• RQ3 교차 엔트로피, 확률, 또는 로짓 기반 손실 함수 중 어느 것이 영상 적대적 공격의 기울기 추정에 가장 효과적인가?
• RQ4 운동 자극 샘플러는 블랙박스 영상 공격에서 성공적인 적대적 예제를 생성하기 위해 필요한 쿼리 수를 줄일 수 있는가?
• RQ5 운동 감지 노이즈 샘플링에서 유도된 '스파크드 프리오르'는 프레임 독립적 또는 복제된 노이즈 사전보다 더 효과적인가?

주요 결과

• I3D에서 2,494개의 쿼리, TSN2D에서 1,780개의 쿼리로 Kinetics-400과 UCF-101에서 모두 100% 공격 성공률를 달성하여 베이스라인을 크게 능가한다.
• I3D를 사용한 UCF-101에서, 본 방법은 6,876개의 쿼리가 필요했고, 다중 노이즈 베이스라인은 두 배 이상(13,773개)의 쿼리가 필요했으며 성공률는 10% 낮았다.
• 수작업으로 만든 'S-Value' 맵(순차적 픽셀 값)은 'U-Sample'(균일 노이즈)보다 약간 높은 성능을 보였으며, 이는 구조화된 운동 패턴이 중요하다는 것을 시사한다.
• I3D를 사용한 Kinetics-400에서 '스파크드 프리오르' 방법은 'S-Value' 대비 1,000건 이상의 쿼리 수를 줄였으며, 이는 운동 맵가 합성 맵보다 우월함을 보여준다.
• 로짓 기반 손실 함수가 교차 엔트로피와 확률 기반 손실 함수를 항상 능가했으며, 가장 적은 쿼리로 100% 성공률를 달성했다.
• 아블레이션 연구를 통해 내재된 운동 패턴이 운동 맵에서 핵심적임을 확인했으며, 이를 무작위 또는 균일 맵으로 교체하면 공격 효과성이 극적으로 감소했다.