[論文レビュー] MACER: Attack-free and Scalable Robust Training via Maximizing Certified Radius

Runtian Zhai, Dan Chen+6 more|arXiv (Cornell University)|Jan 8, 2020

Adversarial Robustness in Machine Learning参考文献 35被引用数 66

ひとこと要約

MACER は、ランダム化平滑化からの認定半径を直接最大化することにより敵対的攻撃なしで頑健な深層ネットワークを訓練し、CIFAR-10、ImageNet、MNIST、SVHN で実証可能な l2-頑健性を得つつ、訓練を高速化した上で強力な実証結果を達成します。

ABSTRACT

Adversarial training is one of the most popular ways to learn robust models but is usually attack-dependent and time costly. In this paper, we propose the MACER algorithm, which learns robust models without using adversarial training but performs better than all existing provable l2-defenses. Recent work shows that randomized smoothing can be used to provide a certified l2 radius to smoothed classifiers, and our algorithm trains provably robust smoothed classifiers via MAximizing the CErtified Radius (MACER). The attack-free characteristic makes MACER faster to train and easier to optimize. In our experiments, we show that our method can be applied to modern deep neural networks on a wide range of datasets, including Cifar-10, ImageNet, MNIST, and SVHN. For all tasks, MACER spends less training time than state-of-the-art adversarial training algorithms, and the learned models achieve larger average certified radius.

研究の動機と目的

• 頑健な分類を動機づけ、攻撃に依存しない保証を提供する。
• l2摂動下での認定頑健性を持つ深層ネットワークのスケーラブルな訓練を可能にする。
• 認定頑健性半径を直接最適化して、精度と頑健性の両方を向上させる。
• 複数データセットを横断して、敵対的訓練と認定ベースのベースラインと比較する。

提案手法

• ガウス平滑化によって定義される平滑化分類器 g_theta を利用する。
• ガウス平滑化境界を用いて認定半径 CR(g_theta; x, y) を計算する。
• ジョイント目的関数 l(g_theta; x, y) = l_C(g_theta; x, y) + l_R(g_theta; x, y) を定式化する。
• surrogate loss を採用する： l_C はクロスエントロピー、l_R は認定半径のヒンジ損失。
• Soft-RS を導入して微分可能な認定半径を得る：期待値を用いた Gaussian ノイズ上での CR(tilde g_theta; x, y)。
• z_theta のモンテカルロ推定と平滑化確率を用いて経験的 surrogate loss を最適化する。
• 内側の攻撃ループを持たずにミニバッチ更新を交互に行うエンドツーエンドのアルゴリズム（MACER）を提供する。

実験結果

リサーチクエスチョン

• RQ1 攻撃ベースの訓練を用いずに認定半径を最大化することで証明可能な頑健性を達成できるか？
• RQ2 ランダム化平滑化は現代の深層ネットワークと大規模データセットに対して頑健性の信頼性保証を提供しつつスケール可能か？
• RQ3 MACER は accuracy と平均認定半径（ACR）の点で既存の平滑化分類器や敵対的訓練と比較してどうか？
• RQ4 認定頑健性の安定した最適化を可能にする、実用的な surrogate loss と微分可能な定式化は何か？
• RQ5 ハイパーパラメータ（ノイズレベル sigma、サンプル数 k、lambda、gamma、beta）がデータセット間の頑健性-精度のトレードオフにどう影響するか？

主な発見

• MACER は CIFAR-10、ImageNet、MNIST、SVHN 全体で CE ベースの訓練だけよりも高い近似認定テスト精度を一貫して示す。
• CIFAR-10 では、MACER は同等の設定でベースラインより大きな平均認定半径（ACR）を達成し、いくつかの sigma 設定で約 3% の改善を示す。
• ImageNet では、MACER はベースラインと同等かそれ以上の ACR を達成しつつ訓練時間を短縮；例として sigma=0.25 の場合、MACER の ACR は 0.544、Cohen が 0.470、Salman が 0.528。
• Soft-RS は微分可能な認定半径を生み出し、安定した最適化を可能にする；ヒンジベースの頑健性損失は勾配の爆発を抑制する。
• 訓練時の効率と頑健性の利得は大規模データセットとアーキテクチャ（例：CIFAR-10 と ImageNet の ResNet 変種）全体で実証される。