[論文レビュー] Joint Adversarial Training: Incorporating both Spatial and Pixel Attacks

Haichao Zhang, Jianyu Wang|arXiv (Cornell University)|Jul 24, 2019

Adversarial Robustness in Machine Learning参考文献 34被引用数 5

ひとこと要約

本論文は、ピクセル単位の摂動と空間変換（例：回転、平行移動）を同時に組み込むことで、深層ニューラルネットワークのロバスト性を向上させる共同敵対的訓練フレームワークを提案する。異なる微分可能で予算制約のある空間攻撃手法を導入し、訓練中に両方の攻撃タイプを同時に最適化することで、CIFAR10、CIFAR100、SVHN データセットにおいて、ピクセル攻撃および空間攻撃の両方に対して最先端のロバスト性を達成した。

ABSTRACT

Conventional adversarial training methods using attacks that manipulate the pixel value directly and individually, leading to models that are less robust in face of spatial transformation-based attacks. In this paper, we propose a joint adversarial training method that incorporates both spatial transformation-based and pixel-value based attacks for improving model robustness. We introduce a spatial transformation-based attack with an explicit notion of budget and develop an algorithm for spatial attack generation. We further integrate both pixel and spatial attacks into one generation model and show how to leverage the complementary strengths of each other in training for improving the overall model robustness. Extensive experimental results on different benchmark datasets compared with state-of-the-art methods verified the effectiveness of the proposed method.

研究の動機と目的

• モデルがピクセル攻撃に対してはロバストであるが、空間変換に対しては脆弱であるという敵対的訓練におけるギャップを解消すること。
• 実用的な訓練用途に適した明示的な予算制約を備えた微分可能で1次順の空間攻撃手法を開発すること。
• ピクセル攻撃と空間攻撃の相補的な強みを活かした共同敵対的訓練フレームワークを設計すること。
• 共同訓練がピクセル攻撃および空間攻撃の両方に対するロバスト性を向上させることを実証的に検証すること、特にブラックボックス攻撃およびトランスファー攻撃の設定下でも有効であることを確認すること。

提案手法

• ニューラルネットワークでパラメータ化されたフローフィールドを用いた微分可能な空間変換攻撃を導入し、変換パラメータに明示的な ℓ∞-ノルムの予算制約を設ける。
• 投影勾配降下法に基づく1次順最適化アルゴリズムを空間攻撃生成に提案し、スケーラブルで効率的な訓練を可能にする。
• 敵対的訓練中にピクセル攻撃と空間攻撃を統合的な生成モデルに組み込み、共同ミニマックス目的関数を用いる。
• 空間変換と勾配を計算するための微分可能なレンダラを採用し、攻撃プロセス全体にエンドツーエンドのバックプロパゲーションを可能にする。
• 訓練中にピクセル攻撃および空間攻撃の両方に対して、固定された予算を設定した複数ステップの投影勾配降下法（PGD）を用いる。
• 訓練中に共同攻撃生成を適用し、ピクセルドメインおよび空間ドメインの両方に摂動を組み合わせた敵対的サンプルを生成する。

実験結果

リサーチクエスチョン

• RQ1 微分可能で予算制約のある空間攻撃が、敵対的訓練に効果的に適用可能かどうか。
• RQ2 ピクセル攻撃と空間攻撃の両方を用いた共同訓練が、個別訓練よりもモデルのロバスト性を向上させるか。
• RQ3 ブラックボックス攻撃およびトランスファー攻撃の設定下でも、共同敵対的訓練フレームワークはどの程度の性能を示すか。
• RQ4 ピクセル攻撃と空間攻撃が、モデルのロバスト性向上においてどの程度相補的に機能するか。

主な発見

• CIFAR10では、提案された共同訓練手法が、共通攻撃下（εₓ=8, εω=0.3）で90.5%の精度を達成し、先行手法を上回った。
• CIFAR100では、共通攻撃下で26.6%の精度を維持したが、これはマドリベースラインの4.8%と比べて顕著に高い水準であった。
• SVHNでは、共通攻撃下で38.8%の精度を達成し、マドリモデルの19.7%およびバイラテラルモデルの35.0%を上回った。
• ブラックボックス攻撃下でも、共同攻撃で訓練されたモデルは良好な一般化性能を示し、攻撃生成に別のモデルを用いた場合でもSVHNで38.8%の精度を達成した。
• 共同訓練フレームワークは、空間攻撃に対するロバスト性向上に加え、標準的なピクセルベース攻撃に対してもロバスト性を向上させ、相補的な利点を示した。