[論文レビュー] Clean-Label Backdoor Attacks on Video Recognition Models

Shihao Zhao, Xingjun Ma+4 more|arXiv (Cornell University)|Mar 6, 2020

Adversarial Robustness in Machine Learning参考文献 31被引用数 17

ひとこと要約

本稿では、高解像度、スパースデータセット、動画入力といった厳しい条件下でも効果を示す、ユニバーサルな adversarial トリガーを用いたビデオ認識モデル向けのクリーンラベルバックドア攻撃を提案する。UCF-101では30%の汚染率で82.2%の攻撃成功率を達成し、最先端の検出防御に対しても耐性を示し、画像バックドア攻撃への転送性も高い。

ABSTRACT

Deep neural networks (DNNs) are vulnerable to backdoor attacks which can hide backdoor triggers in DNNs by poisoning training data. A backdoored model behaves normally on clean test images, yet consistently predicts a particular target class for any test examples that contain the trigger pattern. As such, backdoor attacks are hard to detect, and have raised severe security concerns in real-world applications. Thus far, backdoor research has mostly been conducted in the image domain with image classification models. In this paper, we show that existing image backdoor attacks are far less effective on videos, and outline 4 strict conditions where existing attacks are likely to fail: 1) scenarios with more input dimensions (eg. videos), 2) scenarios with high resolution, 3) scenarios with a large number of classes and few examples per class (a "sparse dataset"), and 4) attacks with access to correct labels (eg. clean-label attacks). We propose the use of a universal adversarial trigger as the backdoor trigger to attack video recognition models, a situation where backdoor attacks are likely to be challenged by the above 4 strict conditions. We show on benchmark video datasets that our proposed backdoor attack can manipulate state-of-the-art video models with high success rates by poisoning only a small proportion of training data (without changing the labels). We also show that our proposed backdoor attack is resistant to state-of-the-art backdoor defense/detection methods, and can even be applied to improve image backdoor attacks. Our proposed video backdoor attack not only serves as a strong baseline for improving the robustness of video models, but also provides a new perspective for more understanding more powerful backdoor attacks.

研究の動機と目的

• 現実的で厳しい条件下におけるビデオ認識モデルのクリーンラベルバックドア攻撃への脆弱性を調査すること。
• 従来の画像ベースバックドア攻撃が失敗する4つの主要な課題（高次元性、高解像度、スパースデータセット、クリーンラベル設定）を特定・分析すること。
• 特にこれらの厳しい条件下でも効果を発揮する、動画設定に適した耐障害性の高いバックドア攻撃手法を開発すること。
• 提案手法が最先端のバックドア検出・防御技術に対してどれほど耐性を示すかを評価すること。
• 画像バックドア攻撃の改善に向け、本手法の転送性を示すこと。

提案手法

• 攻撃のパターンとしてユニバーサルな adversarial トリガーを提案し、多様な動画入力に対して効果的かつデータ変換に対して耐性を持つように設計する。
• ラベルを変更せずに訓練動画のわずかな割合（例：30%）にトリガーを適用することで、隠れやすいクリーンラベル汚染を実現する。
• 人間の視認が困難なが、ターゲットクラスの活性化に極めて効果的な adversarial パーティクルを生成する技術を用いる。
• 異なる動画フレームやモデルアーキテクチャ間でも高い攻撃成功率を維持できるユニバーサルなトリガー設計を採用する。
• adversarial 訓練およびデータオーグメンテーションへの耐性を検証し、最小限の汚染率でも高い成功率を示す。
• スペクトル署名および Neural Cleanse 検出手法に対する耐性を評価するため、特徴空間の分布と異常スコアを分析する。

実験結果

リサーチクエスチョン

• RQ1 高解像度、スパース、多次元入力条件下において、従来のクリーンラベルバックドア攻撃はビデオ認識モデルに効果的に適用可能か？
• RQ2 現在のバックドア攻撃が動画データに適用された際の主な失敗モードは何か。画像ベース攻撃とはどのように異なるか？
• RQ3 ユニバーサルな adversarial トリガーは、従来のパターンベースのトリガーと比較して、動画モデルにおけるバックドア攻撃成功率を顕著に向上させられるか？
• RQ4 提案手法の攻撃は、スペクトル署名および Neural Cleanse といった最先端のバックドア検出手法に対してどれほど効果的か？
• RQ5 提案された動画攻撃手法は、画像バックドア攻撃の改善にどの程度転送可能か？

主な発見

• 提案手法は、最も厳しい条件下でUCF-101データセットにおいて82.2%の成功率を達成し、同条件で完全に失敗する（1.1%成功率）既存手法を上回る。
• データオーグメンテーションに対しても56.3%の成功率を維持しており、データ変換に依存する一般的な防御技術に対して強い耐性を示す。
• スペクトル署名ベースの検出手法は30個の汚染サンプルのうち28個を除外したが、0.001%の汚染率でも40%以上の成功率を示し、低汚染率下での検出困難性が示された。
• Neural Cleanseはバックドアモデルを検出できず、異常インデックスが2未満であったため、特徴空間におけるトリガーのずれを測定する手法では検出を回避できた。
• ユニバーサルな adversarial トリガーを画像分類モデルに転送することで、画像バックドア攻撃の性能向上に成功し、クロスドメインでの一般化性を示した。
• 汚染率がたった0.001%（68.1%成功率）でも攻撃が効果的であることを確認し、高い効率性と隠蔽性を示した。