[論文レビュー] Attacking Automatic Video Analysis Algorithms: A Case Study of Google Cloud Video Intelligence API

Hossein Hosseini, Baicen Xiao+2 more|arXiv (Cornell University)|Aug 14, 2017

Anomaly Detection Techniques and Applications参考文献 34被引用数 9

ひとこと要約

本論文は、動画分類およびショット検出アルゴリズムをだますために、動画フレームをわずかに操作する標的型の対抗的攻撃を、Google Cloud Video Intelligence APIに対して提案している。攻撃は決定論的なフレーム抽出に着目しており、1秒ごとに1枚の画像を挿入することで、APIがその画像に基づいて動画全体をラベル付けするようになる。また、ヒストグラムに基づくショット変更検出は、最小限のフレーム摂動によっても操作可能であり、実世界の動画分析システムにおける深刻な耐性欠如を示している。

ABSTRACT

Due to the growth of video data on Internet, automatic video analysis has gained a lot of attention from academia as well as companies such as Facebook, Twitter and Google. In this paper, we examine the robustness of video analysis algorithms in adversarial settings. Specifically, we propose targeted attacks on two fundamental classes of video analysis algorithms, namely video classification and shot detection. We show that an adversary can subtly manipulate a video in such a way that a human observer would perceive the content of the original video, but the video analysis algorithm will return the adversary's desired outputs. We then apply the attacks on the recently released Google Cloud Video Intelligence API. The API takes a video file and returns the video labels (objects within the video), shot changes (scene changes within the video) and shot labels (description of video events over time). Through experiments, we show that the API generates video and shot labels by processing only the first frame of every second of the video. Hence, an adversary can deceive the API to output only her desired video and shot labels by periodically inserting an image into the video at the rate of one frame per second. We also show that the pattern of shot changes returned by the API can be mostly recovered by an algorithm that compares the histograms of consecutive frames. Based on our equivalent model, we develop a method for slightly modifying the video frames, in order to deceive the API into generating our desired pattern of shot changes. We perform extensive experiments with different videos and show that our attacks are consistently successful across videos with different characteristics. At the end, we propose introducing randomness to video analysis algorithms as a countermeasure to our attacks.

研究の動機と目的

• 標的型の対抗的条件下における自動動画分析アルゴリズムの耐性を調査すること。
• モデルアーキテクチャや出力ラベルの知識が一切ないブラックボックス環境下で、動画分類およびショット検出システムに対する標的型攻撃を開発すること。
• わずかなフレーム操作によって、Google Cloud Video Intelligence APIが望ましいラベルやショット変更パターンを生成するようにだますことができることを実証すること。
• APIが決定論的なフレーム抽出およびヒストグラムに基づくショット検出に依存していることの暴露。
• システムの耐性を向上させるために、サンプリングにランダム性を導入する対策を提案すること。

提案手法

• 1秒ごとに一定間隔でフレームを挿入または変更することで、動画分類およびショット検出に対する標的型攻撃を提案する。
• ヒストグラム分析を用いて、APIのショット変更検出ロジックを逆算する。
• モデルのアーキテクチャや出力ラベルの知識が一切ないブラックボックス攻撃戦略を採用する。
• フレームのヒストグラムを摂動させることで、偽のショット変更を生成したり、実際のショット変更を無効化する手法を開発する。
• APIの挙動を、各秒のフレームを一様に抽出するものとしてモデル化することで、正確な操作を可能にする。
• フレーム選択の予測可能性を低下させるために、ランダムサブサンプリングを対策として提案する。

実験結果

リサーチクエスチョン

• RQ1 Google Cloud Video Intelligence APIは、動画分類に対して標的型の対抗的攻撃に対してどの程度脆弱であるか？
• RQ2 人間の注意を引かない範囲で、わずかなフレームの変更のみでショット検出の出力を操作できるか？
• RQ3 APIが使用するフレーム抽出の背後にあるメカニズムは何か。また、それを逆算可能か？
• RQ4 最小限のフレーム変更によって、ヒストグラムに基づくショット変更検出はどの程度操作可能か？
• RQ5 ランダムサブサンプリングは、このような対抗的攻撃に対してどの程度効果的か？

主な発見

• APIは、各秒の最初のフレームに基づいて動画およびショットのラベルを生成するため、画像挿入攻撃に対して脆弱である。
• 1秒ごとに1枚の画像を挿入することで、APIが動画全体をその画像のラベルのみでラベル付けするようになる。
• 連続するフレーム間のヒストグラム差分を分析することで、ショット変更のパターンを再構築できる。
• 攻撃は、実世界の動画、合成動画、Webからダウンロードされたコンテンツを含む多様な動画でショット検出を効果的に操作できた。
• システムは音声を無視するため、視覚的ラベルに影響を与えることなく、不正コンテンツを埋め込むことができる。
• ランダムサブサンプリングは、フレームベースの攻撃の成功率を顕著に低下させ、効果的な防御手法であると示唆された。