[論文レビュー] Deflecting Adversarial Attacks

Yao Qin, Nicholas Frosst+3 more|arXiv (Cornell University)|Feb 18, 2020

Adversarial Robustness in Machine Learning参考文献 25被引用数 15

ひとこと要約

本論文は、敵対的攻撃を『避けさせる』防御戦略を提案する。この戦略は、サイクル整合性損失を用いたカプセルネットワークを活用し、敵対的例を視覚的にそのターゲットクラスに似せる。これにより、人間の知覚において敵対的でなくなる。この手法は、標準的および防御に注意を向けた攻撃の両方に対して最先端の検出性能を達成し、SVHNにおける未検出のブラックボックス攻撃の69.7％を避けさせることに成功した。このことは、人間によるラベル付けの研究で裏付けられている。

ABSTRACT

There has been an ongoing cycle where stronger defenses against adversarial attacks are subsequently broken by a more advanced defense-aware attack. We present a new approach towards ending this cycle where we "deflect'' adversarial attacks by causing the attacker to produce an input that semantically resembles the attack's target class. To this end, we first propose a stronger defense based on Capsule Networks that combines three detection mechanisms to achieve state-of-the-art detection performance on both standard and defense-aware attacks. We then show that undetected attacks against our defense often perceptually resemble the adversarial target class by performing a human study where participants are asked to label images produced by the attack. These attack images can no longer be called "adversarial'' because our network classifies them the same way as humans do.

研究の動機と目的

• 攻撃・防御・再攻撃の繰り返しのサイクルに対処するため、敵対的例を人間の知覚においてターゲットクラスと区別できなくなる新しい防御戦略を提案すること。
• 標準的および防御に注意を向けた攻撃の両方に耐性を持つ検出メカニズムを開発すること。
• 未検出の敵対的攻撃が、人間のラベラーによってターゲットクラスとして分類されることを示し、それらがもはや真に『敵対的』ではないことを検証すること。
• 検出メカニズムの耐性を厳密に検証するため、防御に注意を向けた攻撃を設計すること。

提案手法

• 勝者カプセルの再構築が元の入力のクラス条件付き分布と一致するよう強制するサイクル整合性損失を導入。これにより、検出と避けの両方が向上する。
• 2ストリームアーキテクチャを採用：カプセル分類ネットワークと、カプセルポーズパラメータに条件付けられた再構築ネットワーク。
• 再構築の不一致、注視ベース検出、サイクル整合性損失という3つの検出メカニズムを統合し、より高い耐性を実現。
• クリーン入力と敵対的入力の再構築の不一致に基づく、攻撃に依存しない2つの検出手法を提案。
• 検出メカニズムを特に標的とする防御に注意を向けた攻撃を設計し、耐性を検証。
• アマゾン・メカニカル・トゥーカーを用いた人間の研究により、未検出の敵対的攻撃が視覚的にターゲットクラスと一致するかどうかを評価。

実験結果

リサーチクエスチョン

• RQ1 敵対的攻撃を、視覚的にターゲットクラスに似せるように避けさせることは可能か。これにより、人間の知覚において敵対的でなくなるか。
• RQ2 提案されたサイクル整合性損失は、カプセルネットワークにおける敵対的攻撃の検出と避けの両方を向上させるか。
• RQ3 検出メカニズムは、SVHNおよびCIFAR-10における標準的および防御に注意を向けた攻撃に対して、どの程度効果的か。
• RQ4 未検出の敵対的攻撃が、モデルに対して人間のアノテーターにどの程度ターゲットクラスとして認識されるか。
• RQ5 防御に注意を向けた攻撃は検出メカニズムを効果的に回避できるか。もし可能であれば、モデルは依然として高い避け率を達成できるか。

主な発見

• SVHNデータセットにおいて、提案モデルに対する未検出のブラックボックスPGD攻撃の69.7％が、人間のラベラーによってターゲットクラスとして分類された。これは、効果的な避けが達成されたことを示している。
• 検出メカニズムは、SVHNおよびCIFAR-10の両方で最先端の性能を達成し、防御に注意を向けた攻撃においても、先行手法を上回った。
• 防御に注意を向けた攻撃は、検出を回避する敵対的例を生成できたが、これらの例は依然として視覚的にターゲットクラスと一致していた。
• CIFAR-10では、SVHNほど一貫した避けが達成されていなかったが、元の入力よりもターゲットクラスに視覚的に類似していた。
• サイクル整合性損失は、クラス条件付き分布の再構築能力を著しく向上させ、検出と避けの両方の性能向上に寄与した。
• 人間の研究により、ベースラインのCNNモデルに対する攻撃では、ターゲットクラスとの視覚的類似性が見られず、避け効果の独自性が裏付けられた。