[論文レビュー] WAT: Improve the Worst-class Robustness in Adversarial Training

Boqi Li, Weiwei Liu|arXiv (Cornell University)|Feb 8, 2023

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、最も脆弱なクラスの耐性を最適化するためにノーリグレットダイナミクスを活用する、WATと呼ばれる新しいworst-class adversarial trainingフレームワークを提案する。平均耐性の低下を最小限に抑えつつ、著しく向上したworst-class耐性精度を達成している。CIFAR-10およびImageNet-100において、複数の攻撃に対して最先端のベースラインを上回り、平均とworst-class性能の間で優れたトレードオフバランスを示す新しい指標（$\rho$）を導入している。

ABSTRACT

Deep Neural Networks (DNN) have been shown to be vulnerable to adversarial examples. Adversarial training (AT) is a popular and effective strategy to defend against adversarial attacks. Recent works (Benz et al., 2020; Xu et al., 2021; Tian et al., 2021) have shown that a robust model well-trained by AT exhibits a remarkable robustness disparity among classes, and propose various methods to obtain consistent robust accuracy across classes. Unfortunately, these methods sacrifice a good deal of the average robust accuracy. Accordingly, this paper proposes a novel framework of worst-class adversarial training and leverages no-regret dynamics to solve this problem. Our goal is to obtain a classifier with great performance on worst-class and sacrifice just a little average robust accuracy at the same time. We then rigorously analyze the theoretical properties of our proposed algorithm, and the generalization error bound in terms of the worst-class robust risk. Furthermore, we propose a measurement to evaluate the proposed method in terms of both the average and worst-class accuracies. Experiments on various datasets and networks show that our proposed method outperforms the state-of-the-art approaches.

研究の動機と目的

• 敵対的訓練における耐性格差、すなわち平均耐性が強くても依然として極めて脆弱なクラスが存在する問題に対処すること。
• 平均耐性を著しく損なわずにworst-class耐性精度を向上させる手法を開発すること。
• Rademacher複雑度を用いたworst-class耐性リスクの理論的保証を提供すること。
• 平均とworst-class耐性精度の両方をバランスよく反映する新しい評価指標（$\\rho$）を提案すること。
• 多様なデータセットおよびネットワークアーキテクチャにおいて、本手法の優位性を実証的に検証すること。

提案手法

• 敵対的訓練中にworst-class耐性リスクを明示的に最適化するmin-max学習パラダイムを提案する。
• ノーリグレットダイナミクスを用いてmin-max最適化問題を解き、収束性と安定性を保証する。
• worst-classと平均耐性精度のトレードオフを制御するためのハイパーパrameter $\eta$ を導入する。
• 最も脆弱なクラスの損失に重点を置いた変更された敵対的訓練目的関数を用いる。
• Rademacher複雑度に基づく一般化誤差境界解析を用いて、理論的耐性の妥当性を裏付ける。
• 平均とworst-class耐性精度の両方をバランスよく反映する新しい評価指標 $\rho$ を提案する。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練を再設計することで、全体の耐性を損なわずに最も成績が悪いクラスに優先的に注力することは可能か？
• RQ2 worst-class耐性リスクを最小化する安定的かつ収束性のある最適化手法はどのように設計できるか？
• RQ3 敵対的訓練におけるworst-class耐性リスクの理論的一般化誤差境界は何か？
• RQ4 平均とworst-class耐性精度の両方を反映するバランスの取れた評価指標はどのように定義できるか？
• RQ5 提案手法は、多様なデータセットおよびモデルにおいて、worst-classおよび平均耐性の両面で既存手法を上回るか？

主な発見

• ResNet-18を用いたCIFAR-10では、PGD-100攻撃下でworst-class耐性精度が69.5%、CW攻撃下で33.3%を達成し、TRADESや他のベースラインを上回った。
• $\eta = 0.1$ の場合、$\rho_{cw}$ が0.326に達し、平均とworst-class耐性精度のバランスが最も良好であることを示した。
• WideResNet-34-10では、PGD-100、CW、AutoAttackの3つの攻撃すべてにおいて、worst-class耐性精度が最高となり、ベースラインより最低1.3%以上向上した。
• 提案された$\rho$指標は、$CV_{cw}$ よりもバランスの取れた評価指標として優れている。これは、平均とworst-class両方の性能を考慮しているからである。
• クラス別耐性精度分析から、WATはTRADES や CSL よりも顕著に脆弱性の高いクラス（例：クラス4、クラス5）の耐性を向上させていることが確認された。
• パラメータ解析から、$\eta = 0.1$ が $\rho_{nat}$ と $\rho_{cw}$ で最良の結果を示した一方、$\eta = 0.5$ が $\rho_{pgd}$ と $\rho_{AA}$ で最高を記録した。これは攻撃タイプに敏感であることを示している。