[論文レビュー] Composite Adversarial Attacks

Xiaofeng Mao, Yuefeng Chen+4 more|arXiv (Cornell University)|Dec 10, 2020

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、複数の基本的敵対的攻撃アルゴリズムとそのハイパーパrameterの最適な順序を、多目的NSGA-II遺伝的アルゴリズムを用いて自動的に探索する、Composite Adversarial Attacks (CAA) を提案する。CAAは、$l_{\infty}$、$l_2$、および制限なしの設定において11種類の多様な防御に対して最先端の攻撃成功率を達成し、10の上位クラス攻撃を上回り、AutoAttackの6倍速い性能を発揮する。

ABSTRACT

Adversarial attack is a technique for deceiving Machine Learning (ML) models, which provides a way to evaluate the adversarial robustness. In practice, attack algorithms are artificially selected and tuned by human experts to break a ML system. However, manual selection of attackers tends to be sub-optimal, leading to a mistakenly assessment of model security. In this paper, a new procedure called Composite Adversarial Attack (CAA) is proposed for automatically searching the best combination of attack algorithms and their hyper-parameters from a candidate pool of extbf{32 base attackers}. We design a search space where attack policy is represented as an attacking sequence, i.e., the output of the previous attacker is used as the initialization input for successors. Multi-objective NSGA-II genetic algorithm is adopted for finding the strongest attack policy with minimum complexity. The experimental result shows CAA beats 10 top attackers on 11 diverse defenses with less elapsed time ( extbf{6 $ imes$ faster than AutoAttack}), and achieves the new state-of-the-art on $l_{\infty}$, $l_{2}$ and unrestricted adversarial attacks.

研究の動機と目的

• 現在の敵対的攻撃選択が部分的最適で手作業的であることが、モデルの頑健性に対する誤った評価を引き起こす可能性があるという問題に対処すること。
• 攻撃アルゴリズムとハイパーパrameterの最強の組み合わせを自動的に探索し、攻撃効果を向上させること。
• 単一攻撃、アンサンブル、および合成ポリシーを順序付き攻撃合成によって一元的に表現できる一般化された攻撃フレームワークを開発すること。
• $l_{\infty}$、$l_2$、および制限なしの摂動を用いた多様な防御において、攻撃時間の短縮と攻撃成功率の最大化を両立させること。
• 学習された攻撃ポリシーのモデル間および防御間での転送性を評価し、特定のアーキテクチャに限定されない一般化性を確保すること。

提案手法

• CAAは、攻撃ポリシーを基本攻撃者（base attacker）のシーケンスとして表現し、1つの攻撃者の出力が次の攻撃者の入力として使用されるため、敵対的例の段階的改善が可能になる。
• 探索空間には、32種類の基本攻撃者を含み、それぞれに調整可能なハイパーパrameter（摂動の大きさ $\epsilon$ と反復回数 $t$）が含まれる。
• 2つの目的（最大の攻撃成功率と最小の計算複雑性＝勾配評価回数）を最適化するために、多目的NSGA-II遺伝的アルゴリズムが使用される。
• 本手法は、ターゲットモデル上で直接攻撃ポリシーを探索する（CAA_dic）ことと、モデル間で一般化可能なポリシーを学習する（CAA_sub）ことの両方をサポートする。
• アイデンティティ攻撃（摂動なし）を特別なケースとして含めることで、CAAは単一攻撃やアンサンブルを、合成ポリシーの特別なケースとして表現可能になる。
• 初期の攻撃者が決定境界付近の例を生成することで、後続の攻撃がより効果的になるように、段階的な攻撃改善が可能になる。

実験結果

リサーチクエスチョン

• RQ1 攻撃シーケンスとハイパーパrameterの自動探索は、手動で選択または調整された攻撃と比較して、成功率と効率の両面で優れているか？
• RQ2 直前の出力を入力として使用する順序付き攻撃の合成は、アンサンブルや単一攻撃と比較して、より強力な敵対的例を生成するか？
• RQ3 あるモデルやデータセットで学習された攻撃ポリシーは、他のモデルや防御に効果的に転送可能か？
• RQ4 攻撃シーケンスの長さ（合成された攻撃者の数）は、全体の攻撃性能にどのように影響するか？
• RQ5 ランダムサーチ、ベイズ最適化、強化学習、NSGA-II のうち、どの最適化戦略が攻撃成功率と探索コストの最良のトレードオフを達成するか？

主な発見

• CAAは、$l_{\infty}$、$l_2$、および制限なしの敵対的攻撃において11種類の多様な防御で新たな最先端性能を達成し、10の上位クラス攻撃を上回った。
• CAAはAutoAttackの6倍速く、はるかに低い計算コストで高い攻撃成功率を達成した。
• 攻撃ポリシーの長さが延長するにつれて攻撃成功率が上昇し、特に制限なしの設定では長さ3を超えると急激に性能が低下し、シーケンス構成への高い感受性が示された。
• NSGA-IIは、ランダムサーチ、ベイズ最適化、強化学習と比較して、攻撃成功率と探索効率の両面で優れており、わずか3 GPU日間の探索時間で49.18%の頑健性精度を達成した。
• CIFAR-10で学習されたCAA_subポリシーは、ResNet、VGG、Inceptionなど複数のモデルアーキテクチャに強く転送可能であり、モデルやタスクを越えた一般化性を示した。
• 単一攻撃に依存しないことで勾配遮断のリスクを効果的に軽減し、順次合成によって補完的なメカニズムを活用した。