[논문 리뷰] Sparse Adversarial Perturbations for Videos

Xingxing Wei, Jun Zhu외 1명|arXiv (Cornell University)|2018. 03. 07.

Adversarial Robustness in Machine Learning참고 문헌 19인용 수 15

한 줄 요약

이 논문은 CNN+RNN 모델에서 프레임 간 시간적 전파를 활용하여 영상 행동 인식을 위한 희박한 적대적 편향을 생성하기 위해 $l_{2,1}$-노름 최적화 방법을 제안한다. 몇몇 핵심 프레임만 훼손함으로써 UCF101에서 59.7%의 오염률을 달성하며, 반복 네트워크를 통한 효과적인 편향 전파로 인해 높은 미시적 인식 가능성과 이동성(transferability)을 보여준다.

ABSTRACT

Although adversarial samples of deep neural networks (DNNs) have been intensively studied on static images, their extensions in videos are never explored. Compared with images, attacking a video needs to consider not only spatial cues but also temporal cues. Moreover, to improve the imperceptibility as well as reduce the computation cost, perturbations should be added on as fewer frames as possible, i.e., adversarial perturbations are temporally sparse. This further motivates the propagation of perturbations, which denotes that perturbations added on the current frame can transfer to the next frames via their temporal interactions. Thus, no (or few) extra perturbations are needed for these frames to misclassify them. To this end, we propose an l2,1-norm based optimization algorithm to compute the sparse adversarial perturbations for videos. We choose the action recognition as the targeted task, and networks with a CNN+RNN architecture as threat models to verify our method. Thanks to the propagation, we can compute perturbations on a shortened version video, and then adapt them to the long version video to fool DNNs. Experimental results on the UCF101 dataset demonstrate that even only one frame in a video is perturbed, the fooling rate can still reach 59.7%.

연구 동기 및 목표

• 영상 데이터에서 적대적 편향에 대한 연구 부족 문제를 다스리며, 이는 공간적 및 시간적 신호를 모두 포함한다.
• 편향의 시간적 희박성을 강제하여 시각적 인식 가능성 향상과 계산 비용 절감을 도모한다.
• RNN를 통해 프레임 간 편향 전파를 활용하여 훼손해야 할 프레임 수를 최소화한다.
• 단순화된 영상 클립에서 편향을 계산하고 전체 영상에 적응시키는 효율적인 공격 방법을 개발한다.
• 행동 인식 작업에서 다양한 모델과 미리보지 않은 영상 간 편향의 이동성(transferability)을 평가한다.

제안 방법

• 편향의 프레임 간 희박성을 확보하기 위해 최적화 과정 중 $l_{2,1}$-노름 정규화를 적용하여 훼손 대상이 되는 핵심 프레임을 선택한다.
• 편향는 CNN 특징 추출기 이후에 삽입되며, RNN(예: LSTM, GRU)를 통해 후속 프레임에 영향을 미친다.
• RNN의 기억 메커니즘을 활용하여 훼손되지 않은 프레임에도 시간적 상호작용을 통해 편향이 영향을 미칠 수 있도록 한다.
• 이중 단계 공격 전략을 사용한다: 먼저 $l_2$ 노름을 사용하여 단순화된 영상 클립에서 편향을 계산한 후, 전체 영상에 전이한다.
• 식(2)를 통해 훈련 세트에서 유니버설 편향을 생성하고, 미리보지 않은 테스트 영상에서 평가하여 영상 간 이동성(transferability)을 분석한다.
• 주요 평가 지표로 오염률을 사용하여 CNN+RNN 아키텍처를 UCF101 데이터셋에서 평가한다.

실험 결과

연구 질문

• RQ1 공격 성공률을 유지하면서도 영상에서 편향을 시간적으로 희박하게 만들 수 있는가?
• RQ2 RNN 기반 영상 모델을 통해 편향이 얼마나 효과적으로 전파되어 훼손되지 않은 프레임을 잘못 분류하게 하는가?
• RQ3 $l_{2,1}$-노름 정규화가 영상 모델에서 희박성과 편향 전파를 향상시키는 데 기여하는가?
• RQ4 다양한 RNN 아키텍처(예: 일반 RNN, LSTM, GRU) 간에 편향의 이동성(transferability)은 어느 정도인가?
• RQ5 단순화된 영상 클립에서 계산된 편향가 전체 영상에 성공적으로 적응시킬 수 있는가?

주요 결과

• 단 한 개의 프레임만 훼손함으로써 UCF101에서 59.7%의 오염률을 달성하여 극도로 희박한 조건에서도 높은 효과성을 입증하였다.
• 단순화된 영상 클립(N=20 등)에서 계산된 편향는 전체 영상에 성공적으로 적응되어 계산 비용을 절감할 수 있었다.
• 모델 간 이동성은 매우 강력하여, 화이트박스 편향를 사용할 경우 LSTM 및 GRU 모델에서 오염률이 95%를 초과하였다.
• 풀링 전용 기준 모델은 성능이 열악했으며(71.0% 오염률), 기억 메커니즘이 효과적인 전파를 위해 필수적임을 확인하였다.
• 유니버설 편향는 테스트 세트에서 95.2%의 오염률을 기록하여, 미리보지 않은 영상 간 강력한 일반화 능력을 보였다.
• 주요 최적화 과정에서 $l_{2,1}$-노름은 $l_2$-노름보다 더 나은 전파 및 희박성을 제공하지만, 전체 영상에 대한 적응에는 $l_2$-노름이 더 선호된다.