[論文レビュー] Curriculum Adversarial Training

Qi-Zhi Cai, Min Du+2 more|arXiv (Cornell University)|May 13, 2018

Adversarial Robustness in Machine Learning参考文献 15被引用数 33

ひとこと要約

本論文では、攻撃強度を段階的に高めた攻撃例を用いて訓練することで、 adversarial 例に対する頑健性を向上させる Curriculum Adversarial Training (CAT) を提案する。CAT はカリキュラム学習、バッチミキシング、量子化を組み合わせることで、CIFAR-10 で前人最高の 25%、SVHN で 35% の悪化した最悪ケース精度を達成した。一方で、綺麗なデータに対する性能はほぼ SOTA を維持した。

ABSTRACT

Recently, deep learning has been applied to many security-sensitive applications, such as facial authentication. The existence of adversarial examples hinders such applications. The state-of-the-art result on defense shows that adversarial training can be applied to train a robust model on MNIST against adversarial examples; but it fails to achieve a high empirical worst-case accuracy on a more complex task, such as CIFAR-10 and SVHN. In our work, we propose curriculum adversarial training (CAT) to resolve this issue. The basic idea is to develop a curriculum of adversarial examples generated by attacks with a wide range of strengths. With two techniques to mitigate the forgetting and the generalization issues, we demonstrate that CAT can improve the prior art's empirical worst-case accuracy by a large margin of 25% on CIFAR-10 and 35% on SVHN. At the same, the model's performance on non-adversarial inputs is comparable to the state-of-the-art models.

研究の動機と目的

• CIFAR-10 や SVHN といった複雑なデータセットでは、従来の手法が最悪ケース精度として約 45% および約 40% にとどまるため、その限界的な頑健性を改善すること。
• 攻撃強度の異なる adversarial 例のカリキュラムを導入することで、adversarial 訓練における崩壊的忘却と一般化性能の低さを克服すること。
• カリキュラム学習とバッチミキシング、量子化を組み合わせることで、モデルの耐性を著しく向上させつつ、綺麗なデータの性能を損なわないことを実証すること。

提案手法

• 攻撃強度を段階的に高める（例：K=1, 2, ..., K_max の PGD）ことで adversarial 例を生成し、モデルを徐々に難しい例に適応させるカリキュラム学習フレームワークを導入する。
• 異なる攻撃強度からの clean data と adversarial 例を含むミニバッチを混合することで、特定の攻撃タイプへの過剰適合を低減し、一般化性能を向上させるバッチミキシングを採用する。
• 訓練後の量子化（例：8ビットまたは4ビット）を適用して攻撃空間を縮小し、特に強力な攻撃に対する頑健性を向上させる。
• 2段階の訓練プロセスを採用：まず弱攻撃で学習を安定化させ、次に段階的に強攻撃を導入することで頑健性を向上させる。
• カリキュラム、バッチミキシング、量子化の3要素を統合した一貫した訓練パイプラインを構築し、耐性を最大化する。
• 弱攻撃は崩壊的忘却を防ぎ、強攻撃と量子化が組み合わさることで未知攻撃への一般化性能が向上するという洞察を活用する。

実験結果

リサーチクエスチョン

• RQ1 攻撃強度を段階的に高めた adversarial 例のカリキュラムは、CIFAR-10 や SVHN といった複雑なデータセットで、従来の adversarial 訓練手法を超えて頑健性を向上させることができるか？
• RQ2 訓練カリキュラムに弱攻撃を組み込むことで、adversarial 訓練中の崩壊的忘却を緩和できるか？
• RQ3 量子化をカリキュラム adversarial 訓練と組み合わせることで、有効な防御メカニズムとして機能するか？
• RQ4 バッチミキシングは頑健性に不可欠か？それともカリキュラム学習のみで十分か？
• RQ5 CAT は標準的な訓練と比較して、非 adversarial 入力における性能をどの程度低下させるか？

主な発見

• CIFAR-10 では、CAT が実験的最悪ケーステスト精度を 69.27% まで向上させ、前人最高の 46.18% に対して 25% の相対的改善を達成した。
• SVHN では、CAT が最悪ケース精度 75.66% を達成し、前人最高の 40.38% に対して 35% の相対的改善を示した。
• 非 adversarial テストデータにおける性能低下は最小限で、CIFAR-10 では 5% から 6%、SVHN では約 1% にとどまり、優れた一般化性能を示した。
• カリキュラムなしのバッチミキシングでは、強攻撃に対する頑健性が著しく低下し、カリキュラム学習が耐性に不可欠であることが示された。
• 量子化は、すべてのモデルアーキテクチャとデータセットで頑健性を著しく向上させ、CAT と組み合わせることで強力な攻撃に対しても防御性能が向上した。
• アブレーションスタディにより、カリキュラムが極めて重要であることが確認された：CAT（カリキュラム、ミキシング、量子化を含む）は、カリキュラムなしの MIX+Quant よりも大幅に優れており、カリキュラムの独自の貢献が証明された。