[論文レビュー] Provably Robust Deep Learning via Adversarially Trained Smoothed Classifiers

Hadi Salman, Greg Yang+5 more|arXiv (Cornell University)|Jun 9, 2019

Adversarial Robustness in Machine Learning参考文献 39被引用数 131

ひとこと要約

本論文は、新規の SmoothAdv 攻撃を用いた敵対的訓練により、ランダム化スムージングの証明可能な l2-ロバストネスを向上させ、ImageNetと CIFAR-10 で最先端の結果を達成します。

ABSTRACT

Recent works have shown the effectiveness of randomized smoothing as a scalable technique for building neural network-based classifiers that are provably robust to $\ell_2$-norm adversarial perturbations. In this paper, we employ adversarial training to improve the performance of randomized smoothing. We design an adapted attack for smoothed classifiers, and we show how this attack can be used in an adversarial training setting to boost the provable robustness of smoothed classifiers. We demonstrate through extensive experimentation that our method consistently outperforms all existing provably $\ell_2$-robust classifiers by a significant margin on ImageNet and CIFAR-10, establishing the state-of-the-art for provable $\ell_2$-defenses. Moreover, we find that pre-training and semi-supervised learning boost adversarially trained smoothed classifiers even further. Our code and trained models are available at http://github.com/Hadisalman/smoothing-adversarial .

研究の動機と目的

• 敵対的訓練を用いてスムージング分類器の証明可能な l2-ロバストネスを向上させる。
• スムージング分類器に適した効果的な攻撃（SmoothAdv）を開発する。
• ImageNetと CIFAR-10 で経験的および証明可能なロバストネスの向上を実証する。
• このフレームワークにおける事前学習と半教師あり学習の利点を示す。

提案手法

• スムージング分類器のための SmoothAdv 攻撃を導入し、投影勾配法（PGD）または分離方向とノルム（DDN）で最適化する。
• スムージングされたソフト分類器の損失を最大化し、ガウス摂動を受けた敵対的サンプルで訓練することにより敵対的訓練を定式化する。
• ガウスノイズのモンテカルロサンプリングを用いて SmoothAdv 目的関数の勾配を推定する。
• 得られたモデルに対して、ランダム化スムージングを活用して証明可能な l2-ロバストネス保証を得る。
• 事前学習と半教師あり学習を取り入れてロバストネスと証明可能な精度を高める。

実験結果

リサーチクエスチョン

• RQ1 スムージング分類器に特化した敵対的訓練は、既存の方法を超える証明可能な l2-ロバストネスを改善できるか？
• RQ2 SmoothAdv 攻撃は、スムージング分類器に対する敵対的事例を見つけるのにどれくらい効果的か？
• RQ3 学習ハイパーパラメータ（m_train、sigma、epsilon、T）が証明可能なロバストネスに与える影響は何か？
• RQ4 このフレームワークで事前学習と半教師あり学習はさらに証明可能なロバスト性を高めるのか？

主な発見

• SmoothAdv で訓練されたスムージング分類器は、複数の半径での証明可能な精度において、ImageNetと CIFAR-10 のすべての従来の証明可能な l2-ロバスト分類器を上回る。
• ImageNet では、ResNet-50 のスムージング分類器が半径が 127/255 未満で 56% の証明可能な top-1 精度を達成し、以前の 49% を上回る。
• CIFAR-10 のスムージング分類器は従来技術より最大 16% の改善を達成し、事前学習と半教師あり学習を組み合わせるとさらなる利得（最大 22%）を得る。
• このフレームワークでは、事前学習と半教師あり学習が一貫して証明可能なロバストネスを向上させる。
• 攻撃に導かれた敵対的訓練は、モデルの最適化を認定目的と整合させ、通常の敵対的訓練より高い証明可能なロバストネスをもたらす。