[논문 리뷰] Attacking Automatic Video Analysis Algorithms: A Case Study of Google Cloud Video Intelligence API

Hossein Hosseini, Baicen Xiao외 2명|arXiv (Cornell University)|2017. 08. 14.

Anomaly Detection Techniques and Applications참고 문헌 34인용 수 9

한 줄 요약

이 논문은 Google Cloud Video Intelligence API에 대해 비디오 분류 및 셷트 감지 알고리즘을 속이기 위해 프레임을 미세하게 조작하는 타겟 공격을 제안한다. 공격은 결정론적 프레임 샘플링을 악용하여, 1초당 한 장의 이미지를 삽입함으로써 API가 전체 비디오를 그 이미지의 레이블로 분류하게 만들며, 히스토그램 기반 셷트 전환 감지 역시 최소한의 프레임 변형으로 조작 가능함을 보여주어 실제 비디오 분석 시스템에서 심각한 내구성 결함을 드러낸다.

ABSTRACT

Due to the growth of video data on Internet, automatic video analysis has gained a lot of attention from academia as well as companies such as Facebook, Twitter and Google. In this paper, we examine the robustness of video analysis algorithms in adversarial settings. Specifically, we propose targeted attacks on two fundamental classes of video analysis algorithms, namely video classification and shot detection. We show that an adversary can subtly manipulate a video in such a way that a human observer would perceive the content of the original video, but the video analysis algorithm will return the adversary's desired outputs. We then apply the attacks on the recently released Google Cloud Video Intelligence API. The API takes a video file and returns the video labels (objects within the video), shot changes (scene changes within the video) and shot labels (description of video events over time). Through experiments, we show that the API generates video and shot labels by processing only the first frame of every second of the video. Hence, an adversary can deceive the API to output only her desired video and shot labels by periodically inserting an image into the video at the rate of one frame per second. We also show that the pattern of shot changes returned by the API can be mostly recovered by an algorithm that compares the histograms of consecutive frames. Based on our equivalent model, we develop a method for slightly modifying the video frames, in order to deceive the API into generating our desired pattern of shot changes. We perform extensive experiments with different videos and show that our attacks are consistently successful across videos with different characteristics. At the end, we propose introducing randomness to video analysis algorithms as a countermeasure to our attacks.

연구 동기 및 목표

• 공격 조건 하에서 자동 비디오 분석 알고리즘의 내구성에 대해 조사하기 위해.
• 모델 아키텍처나 출력 레이블에 대한 지식 없이도 비디오 분류 및 셷트 감지 시스템에 대해 타겟 공격을 개발하기 위해.
• 미세한 프레임 조작이 Google Cloud Video Intelligence API의 원하는 레이블과 셷트 전환 패턴을 유도할 수 있음을 입증하기 위해.
• API가 결정론적 프레임 샘플링과 히스토그램 기반 셷트 감지에 의존하고 있음을 드러내기 위해.
• 시스템의 내구성을 향상시키기 위해 샘플링에 무작위성 도입을 제안하기 위해.

제안 방법

• 1초 간격으로 프레임을 삽입하거나 수정함으로써 비디오 분류 및 셷트 감지에 대해 타겟 공격을 제안한다.
• 히스토그램 분석을 통해 API의 셷트 전환 감지 논리를 역공학적으로 분석한다.
• 모델 아키텍처나 출력 레이블에 대한 지식 없이도 작동하는 블랙박스 공격 전략을 사용한다.
• 프레임 히스토그램을 변형시켜 가짜 셷트 전환을 생성하거나 실제 셷트 전환을 제거하는 방법을 개발한다.
• API의 동작을 매 초마다 균일하게 프레임을 샘플링하는 것으로 모델링함으로써 정밀한 조작을 가능하게 한다.
• 예측 가능성을 줄이기 위해 무작위 부분 샘플링을 대응 조치로 제안한다.

실험 결과

연구 질문

• RQ1 Google Cloud Video Intelligence API는 비디오 분류에 대해 타겟 공격에 얼마나 취약한가?
• RQ2 적대자가 몇 장의 프레임만 조작해도 인간의 주의를 끌지 않고 셷트 감지 결과를 조작할 수 있는가?
• RQ3 API에서 사용하는 프레임 샘플링의 기본 메커니즘은 무엇이며, 이를 역공학적으로 분석할 수 있는가?
• RQ4 최소한의 프레임 수정으로 히스토그램 기반 셷트 전환 감지 기술을 얼마나 조작할 수 있는가?
• RQ5 무작위 부분 샘플링은 이러한 악성 공격에 대해 얼마나 효과적인 방어 수단인가?

주요 결과

• API는 매 초의 첫 번째 프레임에 기반해 비디오 및 셷트 레이블을 생성하므로, 이미지 삽입 공격에 취약하다.
• 1초당 한 번씩 단일 이미지를 삽입하면, API는 전체 비디오를 그 이미지의 레이블로만 분류한다.
• 연속된 프레임 간의 히스토그램 차이를 분석함으로써 셷트 전환 패턴을 재구성할 수 있다.
• 공격은 실제 영상, 합성 영상, 웹에서 다운로드한 콘텐츠를 포함한 다양한 영상에서 셷트 감지 조작에 성공하였다.
• 시스템은 오디오를 무시하므로, 시각적 레이블에 영향을 주지 않고도 불법 콘텐츠를 삽입할 수 있다.
• 무작위 부분 샘플링은 프레임 기반 공격의 성공률을 크게 감소시켜 효과적인 방어 수단임을 시사한다.