[論文レビュー] Art of singular vectors and universal adversarial perturbations

Valentin Khrulkov, Ivan Oseledets|arXiv (Cornell University)|Sep 11, 2017

Adversarial Robustness in Machine Learning参考文献 17被引用数 15

ひとこと要約

本稿では、深層ニューラルネットワークの特徴マップのヤコビ行列の(p,q)-特異ベクトルを計算することで、ユニバーサル adversarial パーティクルを生成する新しい手法 SingularFool を提案する。64枚の画像のみを用いて ImageNet で60%の欺瞞率を達成し、従来手法が数千枚の画像を必要とするのに対し顕著に優れており、モデル間での一般化性と視覚的パターンの一貫性を示している。

ABSTRACT

Vulnerability of Deep Neural Networks (DNNs) to adversarial attacks has been attracting a lot of attention in recent studies. It has been shown that for many state of the art DNNs performing image classification there exist universal adversarial perturbations --- image-agnostic perturbations mere addition of which to natural images with high probability leads to their misclassification. In this work we propose a new algorithm for constructing such universal perturbations. Our approach is based on computing the so-called $(p, q)$-singular vectors of the Jacobian matrices of hidden layers of a network. Resulting perturbations present interesting visual patterns, and by using only 64 images we were able to construct universal perturbations with more than 60 \% fooling rate on the dataset consisting of 50000 images. We also investigate a correlation between the maximal singular value of the Jacobian matrix and the fooling rate of the corresponding singular vector, and show that the constructed perturbations generalize across networks.

研究の動機と目的

• 既存手法と比較して、より少ない訓練画像でユニバーサル adversarial パーティクルを生成できるより効率的な手法の開発。
• ヤコビ行列の最大の (p,q)-特異値と生成されたパーツの欺瞞率との関係の解明。
• 生成されたパーツの異なる深層ニューラルネットワークアーキテクチャ間での一般化能力の評価。
• 特異ベクトルに基づくパーツの視覚的パターンおよび構造的性質の分析。
• (p,q)-特異値をモデルのロバストネスの定量的指標およびトレーニングにおける候補正則化子としての可能性の探求。

提案手法

• 一般化されたパワー法を任意の p-ノルムに適応させ、隠れ層特徴マップのヤコビ行列の (p,q)-特異ベクトルを計算する。
• Adversarial パーティクル生成を最適化問題として定式化：||J_i(x)ε||_q を最大化し、||ε||_p = 1 を制約とする。ここで J_i(x) は i 番目の層のヤコビ行列を表す。
• この問題の解は (p,q)-特異ベクトルをもたらし、これを所望のパーツノルム L にスケーリングする。
• アルゴリズムは小規模バッチサイズ（例：32）を用い、1層（例：VGG-19 の block2_pool）のヤコビ行列に対してパワー法を繰り返し適用してパーツを更新する。
• 最適化問題の斉次性を活用し、再計算なしに任意のノルムにスケーリング可能である。
• TensorFlow と NumPy を用いて実装され、各層ごとに一度だけ記号的ヤコビ行列-ベクトル積が計算される。

実験結果

リサーチクエスチョン

• RQ1 (p,q)-特異ベクトルが最小限のデータで高い欺瞞率を達成するユニバーサル adversarial パーティクルを効率的に生成できるか。
• RQ2 ヤコビ行列の最大 (p,q)-特異値と生成されたパーツの欺瞞率との相関関係は何か。
• RQ3 本手法で生成されたパーツは、異なる深層ニューラルネットワークアーキテクチャ間でどれほど一般化できるか。
• RQ4 トレーニング時に使用する画像枚数が、ユニバーサルパーツの収束性と性能に与える影響は何か。
• RQ5 生成されたパーツは一貫した視覚的パターンを示すか。また、データセットやモデルをまたいでユニバーサルと見なせるか。

主な発見

• 提案手法 SingularFool は、64枚の画像のみを用いて ImageNet で60%を超える欺瞞率を達成し、同程度の性能に到達するには数千枚の画像を要する UAP 手法と比べ顕著に優れている。
• 訓練画像枚数の増加に伴い、パーツの欺瞞率は速やかに安定し、64枚で約63%に達するが、UAP 手法は約3000枚の画像が必要で60%に到達する。
• 1枚のGPU（Tesla K80）で32バッチサイズ、30イテレーションで約1分で実行可能であり、UAP 手法（より大きなバッチサイズ）の約10分を大幅に上回る。
• ヤコビ行列の最大 (p,q)-特異値は、欺瞞率と強く正の相関を示しており、定量的ロバストネス指標としての可能性を示唆している。
• 生成されたパーツは一貫した視覚的パターンを示し、VGG-19、ResNet、Inception など、さまざまなDNNアーキテクチャに効果的に一般化されている。
• 本手法は強力な一般化性を示しており、1つのネットワークで学習したパーツが他の事前学習済みモデルでも高い欺瞞率を達成しており、ユニバーサル性を裏付けている。