[논문 리뷰] Adversarial Attacks for Optical Flow-Based Action Recognition Classifiers

Nathan Inkawhich, Matthew Inkawhich외 2명|arXiv (Cornell University)|2018. 11. 28.

Adversarial Robustness in Machine Learning참고 문헌 20인용 수 32

한 줄 요약

이 논문은 비디오 프레임에 미세하고 희박한 변형을 생성하기 위해 미분 가능한 광학 흐름(Flownet2.0)을 활용하여 광학 흐름 기반 행동 인식 모델을 대상으로 화이트박스 및_BLK-BOX 공격 프레임워크를 제안한다. 이 방법은 상태 기반 공격 성공률를 달성하며, TV-L1 및 Farneback와 같은 비미분 가능한 흐름 알고리즘을 사용하는 블랙박스 시스템으로의 전이성 또한 높게 유지한다.

ABSTRACT

The success of deep learning research has catapulted deep models into production systems that our society is becoming increasingly dependent on, especially in the image and video domains. However, recent work has shown that these largely uninterpretable models exhibit glaring security vulnerabilities in the presence of an adversary. In this work, we develop a powerful untargeted adversarial attack for action recognition systems in both white-box and black-box settings. Action recognition models differ from image-classification models in that their inputs contain a temporal dimension, which we explicitly target in the attack. Drawing inspiration from image classifier attacks, we create new attacks which achieve state-of-the-art success rates on a two-stream classifier trained on the UCF-101 dataset. We find that our attacks can significantly degrade a model's performance with sparsely and imperceptibly perturbed examples. We also demonstrate the transferability of our attacks to black-box action recognition systems.

연구 동기 및 목표

• 광학 흐름 기반 행동 인식 모델의 보안 취약성을 해결하기 위해, 이는 생산 시스템에서 널리 사용되고 있다.
• 미분 가능한 광학 흐름 모델(Flownet2.0)과 시간 스트림 분류기로의 역전파를 통해 직접적으로 비디오 프레임을 변형하는 화이트박스 공격을 개발하기 위해.
• 비미분 가능한 광학 흐름 알고리즘(TV-L1, Farneback 등)을 사용하는 블랙박스 모델로의 적대적 예제 전이성을 입증하기 위해.
• 적대적 예제 생성과 모델 강건성에 있어 주목할 만한 영상 프레임의 역할을 조사하기 위해.
• 특히 단일 프레임 공격를 포함한 희박한 변형의 효과성을 평가하기 위해, 분류기 성능 저하에 기여한다.

제안 방법

• 광학 흐름 계산을 위한 유연한 대체 모델로 Flownet2.0을 사용하여, 분류기 손실에서 입력 비디오 프레임으로의 기울기 역전파를 가능하게 한다.
• Flownet2.0과 시간 스트림 CNN을 결합한 복합 엔드 투 엔드 모델을 구성하여 입력 프레임 변형 최적화를 위한 기울기 기반 최적화를 가능하게 한다.
• 세 가지 공격 변형을 적용한다: 한 번의 스텝 공격(one-shot), 반복적 색소 기반 공격(it-saliency-RG), 및 주목할 만한 프레임에만 영향을 주는 희박한 프레임 수준 공격.
• 복합 모델의 기울기를 사용하여 화이트박스 설정에서 공격를 수행한 후, 다른 광학 흐름 알고리즘을 사용하는 블랙박스 모델로의 전이성 평가를 수행한다.
• 색소 맵을 사용하여 영향력이 큰 프레임을 식별하고, 이들 프레임만을 변형함으로써 변형의 농도를 줄이면서도 공격 효율성을 유지한다.
• 다양한 광학 흐름 및 CNN 구성에서 UCF-101 데이터셋을 사용하여 정상 및 적대적 예제를 기반으로 오분류율을 통해 공격 성공도를 평가한다.

실험 결과

연구 질문

• RQ1 미분 가능한 광학 흐름을 활용하여 기울기 계산을 수행함으로써, 광학 흐름 기반 행동 인식 모델에 대해 적대적 공격를 효과적으로 적용할 수 있는가?
• RQ2 특히 단일 프레임 공격를 포함한 희박하고 인식할 수 없는 변형은 이중 스트림 행동 인식 모델의 성능에 얼마나 효과적인가?
• RQ3 비미분 가능한 광학 흐름 알고리즘(TV-L1, Farneback 등)을 사용하는 블랙박스 모델로, 화이트박스 가정 하에 생성된 적대적 예제의 전이성은 어느 정도인가?
• RQ4 광학 흐름 알고리즘의 선택(Flownet2.0 대비 TV-L1 또는 Farneback)이 적대적 예제의 전이성과 강건성에 영향을 미치는가?
• RQ5 반복적 색소 기반 공격(it-saliency-RG)과 한 번의 스텝 공격(one-shot) 간에, 다양한 블랙박스 구성에서 전이성과 성공률 측면에서 어떤 차이가 있는가?

주요 결과

• 제안된 화이트박스 공격는 UCF-101 데이터셋에서 최고 성능을 기록하며, Flownet2.0 기반 모델에서 ε=0.035일 때 it-saliency-RG 변종이 one-shot 공격보다 약 13% 높은 성공률를 기록한다.
• 화이트박스 방법으로 생성된 적대적 예제는 TV-L1 및 Farneback 광학 흐름 알고리즘을 사용하는 블랙박스 모델로 효과적으로 전이되며, 기울기 접근성이 없는 상황에서도 그 정확도를 크게 떨어뜨린다.
• ε=0.035일 때, it-saliency-RG 공격는 one-shot 공격보다 블랙박스 TV-L1 시스템에서 공격 성공률가 약 6% 높게 나타나지만, 화이트박스 설정만큼의 향상은 관찰되지 않는다.
• 광학 흐름 알고리즘에 따라 전이성 경향이 다름: 낮은 ε(ε<0.015)에서는 TV-L1 시스템으로의 전이성이 더 우수하고, 높은 ε에서는 Farneback 시스템으로의 전이성이 더 우수함을 보이며, 이는 알고리즘별 감도의 차이를 시사한다.
• 단일 주목 프레임에만 영향을 주는 희박한 공격는 여전히 높은 공격 성공률를 기록하며, 최소한의 변형만으로도 모델 성능 저하가 가능하다는 것을 보여준다.
• 블랙박스 모델이 다른 광학 흐름 알고리즘을 사용하더라도 공격는 효과를 유지함으로써, 전이성 특성의 강건성과 실용적 관련성을 확인한다.