[論文レビュー] Generalizable Data-free Objective for Crafting Universal Adversarial Perturbations

Konda Reddy Mopuri, Aditya Ganeshan+1 more|arXiv (Cornell University)|Jan 24, 2018

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、訓練データにアクセスせずに、複数の視覚タスクで深層ニューラルネットワークをだますことができる汎用的でデータフリーの目的関数を提案する。入力特徴量への摂動の影響と特徴表現への影響の相関を活用することで、画像の平均やダイナミックレンジといった単純な事前知識のみを用いても、ImageNet分類タスクで最大77.77%の撹乱成功率を達成する。

ABSTRACT

Machine learning models are susceptible to adversarial perturbations: small changes to input that can cause large changes in output. It is also demonstrated that there exist input-agnostic perturbations, called universal adversarial perturbations, which can change the inference of target model on most of the data samples. However, existing methods to craft universal perturbations are (i) task specific, (ii) require samples from the training data distribution, and (iii) perform complex optimizations. Additionally, because of the data dependence, fooling ability of the crafted perturbations is proportional to the available training data. In this paper, we present a novel, generalizable and data-free approaches for crafting universal adversarial perturbations. Independent of the underlying task, our objective achieves fooling via corrupting the extracted features at multiple layers. Therefore, the proposed objective is generalizable to craft image-agnostic perturbations across multiple vision tasks such as object recognition, semantic segmentation, and depth estimation. In the practical setting of black-box attack scenario (when the attacker does not have access to the target model and it's training data), we show that our objective outperforms the data dependent objectives to fool the learned models. Further, via exploiting simple priors related to the data distribution, our objective remarkably boosts the fooling ability of the crafted perturbations. Significant fooling rates achieved by our objective emphasize that the current deep learning models are now at an increased risk, since our objective generalizes across multiple tasks without the requirement of training data for crafting the perturbations. To encourage reproducible research, we have released the codes for our proposed algorithm.

研究の動機と目的

• 訓練データに依存する既存のUniversal Adversarial Perturbation（UAP）手法の限界を解消し、ブラックボックス環境下でも高い性能を発揮する。
• 画像分類、セマンティックセグメンテーション、深度推定などの多様なコンピュータビジョンタスクにわたって、効果的なUAPを生成可能な汎用的で一般化可能な目的関数を構築すること。
• ターゲットモデルの訓練データに依存しないことで、効果的なブラックボックス攻撃を実現しつつ、高い撹乱成功率を維持すること。
• データ分布に関する最小限の事前知識（例：平均、ダイナミックレンジ）が、実際のデータサンプルがなくても摂動の強度を向上させることの可能性を探ること。
• 局所的線形性の仮定に依存せず、特徴レベルの相関関係を活用することで、モデルやタスクをまたいで一般化する能力を実証すること。

提案手法

• 訓練データにアクセスしないデータフリーな目的関数を提案し、摂動によって引き起こされる特徴表現の変化のL2ノルムを最大化する。すなわち、||f(x+δ)−f(x)||₂ を最大化する。
• ネットワークの局所的線形性に依存せず、||f(x+δ)−f(x)||₂ と ||f(δ)||₂ の強い相関関係を活用する。
• 分類層（fc₈）における活性化の相対的シフトを最大化するためのシンプルな最適化プロセスを採用し、これが撹乱成功率と強く相関していることを活用する。
• 画像の平均やダイナミックレンジといった単純な事前知識を組み込むことで、実際のデータがなくても摂動の強度を向上させる。
• 同一の摂動を用いて、分類、セグメンテーション、深度推定といった複数のタスクに適用し、タスク間での一般化を実証する。
• 勾配ベースの最適化スキームを用いて、繰り返し摂動を精緻化することで、人間が認識できないレベルの摂動と高い撹乱性能を両立する。

実験結果

リサーチクエスチョン

• RQ1 訓練データが一切不要なデータフリーな目的関数を設計することで、複数の視覚タスクにわたる汎用的UAPを実現できるか？
• RQ2 訓練データが入手不可能なブラックボックス攻撃環境下で、提案手法がデータ依存的手法を上回る性能を示せるか？
• RQ3 データ分布に関する最小限の事前知識（例：平均、範囲）が、データフリーUAPの撹乱能力をどの程度向上できるか？
• RQ4 局所的線形性の仮定に依存せず、||f(x+δ)−f(x)||₂ と ||f(δ)||₂ の相関関係が、効果的な摂動生成に十分に機能するか？
• RQ5 同一の摂動が、分類、セグメンテーション、深度推定といった多様なタスクで、異なるモデルを効果的にだますことができるか？

主な発見

• 提案手法は、完全なデータ事前知識を用いることで、ImageNet分類タスクで77.77%の撹乱成功率を達成し、ブラックボックス環境下でデータ依存ベースラインを著しく上回った。
• 実際のデータが一切ない状況下でも、ImageNet分類タスクで45.47%の撹乱成功率を達成し、訓練データなしでも高い性能を示した。
• 画像の平均やダイナミックレンジといった単純な事前知識を組み込むことで、事前知識なしの45.47%から、範囲事前知識で63.08%へ、完全なデータ事前知識で77.77%へと撹乱成功率が向上した。
• 分類層（fc₈）における特徴活性化の相対的シフトは、実際の撹乱成功率と強く相関しており、本手法の設計選択の妥当性を裏付けた。
• 本手法はタスク間で一般化可能である：セマンティックセグメンテーション（FCN-8s-VGG）および深度推定（Monodepth-VGG）のモデルに対しても効果的に撹乱を適用でき、複雑なシーンでは失敗が観察されたが、全体として高い成功率を示した。
• ||f(x+δ)−f(x)||₂ と ||f(δ)||₂ の相関関係は強く安定しており、本手法が局所的線形性に依存せず、特徴レベルのダイナミクスを効果的に活用していることを確認した。