[논문 리뷰] Sparse Black-box Video Attack with Reinforcement Learning

Xingxing Wei, Huanqian Yan외 1명|arXiv (Cornell University)|2020. 01. 11.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 강화학습(SVA)을 사용한 희소 블랙박스 비디오 공격을 제안하며, 핵심 프레임 선택과 적대적 편향 생성을 통합 최적화한다. 비디오 인식 모델을 환경으로 간주하고, 실시간 피드백에 기반해 프레임을 적응적으로 선택함으로써 SVA는 C3D 및 LRCN 모델에서 효율적인 쿼리 사용과 함께 높은 속임수 비율을 유지하면서도 적대적 편향을 크게 감소시킨다.

ABSTRACT

Adversarial attacks on video recognition models have been explored recently. However, most existing works treat each video frame equally and ignore their temporal interactions. To overcome this drawback, a few methods try to select some key frames and then perform attacks based on them. Unfortunately, their selection strategy is independent of the attacking step, therefore the resulting performance is limited. Instead, we argue the frame selection phase is closely relevant with the attacking phase. The key frames should be adjusted according to the attacking results. For that, we formulate the black-box video attacks into a Reinforcement Learning (RL) framework. Specifically, the environment in RL is set as the recognition model, and the agent in RL plays the role of frame selecting. By continuously querying the recognition models and receiving the attacking feedback, the agent gradually adjusts its frame selection strategy and adversarial perturbations become smaller and smaller. We conduct a series of experiments with two mainstream video recognition models: C3D and LRCN on the public UCF-101 and HMDB-51 datasets. The results demonstrate that the proposed method can significantly reduce the adversarial perturbations with efficient query times.

연구 동기 및 목표

• 기존의 희소 비디오 공격가 프레임 선택과 공격 생성을 별개의 과정으로 간주하는 한계를 해결하기 위해.
• 프레임 선택과 공격 생성을 통합 최적화 문제로 모델링하여 적대적 공격의 효율성과 편향의 희소성 향상하기 위해.
• 모델 아키텍처와 파라미터가 알려지지 않은 블랙박스 환경에서 비디오 분류 모델의 적대적 편향을 감소시키기 위해.
• 대상 모델과의 지속적인 상호작용을 통해 피드백 기반의 적응적 핵심 프레임 선택을 가능하게 하기 위해.

제안 방법

• 블랙박스 비디오 공격을 강화학습(RL) 문제로 공식화하여, 에이전트가 핵심 프레임을 선택하고 편향을 생성한다.
• 비디오 인식 모델을 환경으로 정의하고, 편향 적용 후 모델의 예측 확률 변화에 따라 보상을 수신한다.
• 정책 기반 강화학습 방법을 사용하여 에이전트를 훈련시키며, 다중 쿼리에서의 누적 보상에 기반해 프레임 선택 전략을 업데이트한다.
• 블랙박스 환경에서 행동 선택을 위한 기울기 추정 기법(예: SignSGD, Sign-OPT, NES)을 활용하여 기울기를 근사한다.
• 공격 피드백에 기반해 프레임을 적응적으로 선택함으로써 시간적 연속성을 확보하고, 최소한이지만 효과적인 편향을 생성한다.
• RL 탐색을 통해 식별된 가장 영향력 있는 프레임에만 편향을 제한함으로써 희소성 최적화를 달성한다.

실험 결과

연구 질문

• RQ1 강화학습이 블랙박스 비디오 공격에서 핵심 프레임 선택과 적대적 편향 생성을 동시에 효과적으로 최적화하는 데 사용될 수 있는가?
• RQ2 히우리스틱 프레임 선택 대비 피드백 기반의 프레임 선택이 공격 효율성 향상과 편향 크기 감소에 어떻게 기여하는가?
• RQ3 다양한 기울기 추정 기법이 제안된 RL 기반 공격의 성능과 수렴 특성에 미치는 영향은 어떠한가?
• RQ4 제안된 방법은 표준 비디오 벤치마크에서 높은 속임수 비율을 유지하면서도 쿼리 복잡도를 얼마나 줄일 수 있는가?
• RQ5 적응적이고 상호작용 기반의 프레임 선택 전략이 정적 선택 방법에 비해 더 강건하고 희소한 적대적 예제를 생성하는 데 얼마나 효과적인가?

주요 결과

• 제안된 SVA 방법은 RL 피드백를 통해 적응적으로 선택된 핵심 프레임에만 공격을 집중함으로써 상당히 감소된 적대적 편향을 달성한다.
• SVA는 편향 크기를 줄이면서도 높은 속임수 비율을 유지한다—SignSGD와 Sign-OPT를 사용할 경우 각각 10%와 5% 더 높은 속임수 비율을 달성한다.
• 평균적으로 약 20 에포크 내에 수렴하며, 보상 값이 시간이 지남에 따라 안정화됨으로써 효과적인 정책 학습이 이루어졌음을 시사한다.
• 10 에포크당 평균 보상은 점진적으로 증가하고 안정화되며, 다양한 비디오 샘플에서 RL 에이전트의 신뢰할 수 있는 수렴을 보여준다.
• 다양한 기울기 추정 기법(SignSGD, Sign-OPT, NES) 간 성능가 유사하여, SVA가 기울기 추정 기법의 선택에 대해 강건함을 보여준다.
• 공격는 매우 쿼리 효율적이며, 최소한의 쿼리 오버헤드를 가지므로, 쿼리가 제한된 실세계 블랙박스 환경에 적합하다.