[論文レビュー] SmoothMix: Training Confidence-calibrated Smoothed Classifiers for Certified Robustness

Jongheon Jeong, Sejun Park+4 more|arXiv (Cornell University)|Nov 17, 2021

Adversarial Robustness in Machine Learning被引用数 13

ひとこと要約

SmoothMix は、滑らかさ付き分類器における敵対的訓練の新しい手法を提案し、敵対的方向に沿った自己ミックスアップを用いて、過信しすぎた近い非クラス予測をキャリブレーションすることで、認証可能 $ε$-ロバスト性を向上させる。ミックスアップ損失を用いて予測を一様性 toward に正則化することで、明示的なノルム制約なしにロバスト性を向上させ、MNIST、CIFAR-10、ImageNet ベンチマークで最先端の認証可能精度を達成する。

ABSTRACT

Randomized smoothing is currently a state-of-the-art method to construct a certifiably robust classifier from neural networks against $\ell_2$-adversarial perturbations. Under the paradigm, the robustness of a classifier is aligned with the prediction confidence, i.e., the higher confidence from a smoothed classifier implies the better robustness. This motivates us to rethink the fundamental trade-off between accuracy and robustness in terms of calibrating confidences of a smoothed classifier. In this paper, we propose a simple training scheme, coined SmoothMix, to control the robustness of smoothed classifiers via self-mixup: it trains on convex combinations of samples along the direction of adversarial perturbation for each input. The proposed procedure effectively identifies over-confident, near off-class samples as a cause of limited robustness in case of smoothed classifiers, and offers an intuitive way to adaptively set a new decision boundary between these samples for better robustness. Our experimental results demonstrate that the proposed method can significantly improve the certified $\ell_2$-robustness of smoothed classifiers compared to existing state-of-the-art robust training methods.

研究の動機と目的

• 認証可能ロバスト性と精度のトレードオフを改善するため、信頼度キャリブレーションを向上させること。
• 過信しすぎた近い非クラスサンプルがロバスト性に与える悪影響を特定し、是正すること。
• 敵対的サンプルに対する明示的なノルム制約に依存せずにロバスト性を向上させる訓練スキームを開発すること。
• ミックスアップを敵対的方向に沿って適応的に用いることで意思決定境界を再定義する方法を提供すること。
• 確率的スムージングに用いられる既存のロバスト訓練手法と比較して、より優れた認証可能ロバスト性を達成すること。

提案手法

• SmoothMix は、敵対的摂動の方向に沿った入力の凸結合を生成する自己ミックスアップ訓練スキームを導入する。
• 過信しすぎた予測を近い非クラスサンプルに対して一様性 toward に正則化するため、ミックスアップ損失を適用することで信頼度キャリブレーションを向上させる。
• 敵対的サンプルに対して明示的な $ε$-ノルム制約を課さないため、より遠く離れた非クラスサンプルを含めた学習が可能になる。
• 滑らかさ付き分類器の局所的滑らかさを活用して、元のデータ分布を超えた信頼度キャリブレーションメカニズムを定義する。
• 確率的スムージングに用いられる基本分類器の学習に統合され、最終的な滑らかさ付き分類器の認証可能ロバスト性が向上する。
• 複数のデータセット（MNIST、CIFAR-10、ImageNet）において、異なるノイズレベルとハイパーパrameterを用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 過信しすぎた近い非クラスサンプルは、滑らかさ付き分類器の認証可能ロバスト性をどのように悪化させるか？
• RQ2 敵対的方向に沿った自己ミックスアップは、信頼度をキャリブレーションしてロバスト性を向上させるのに効果的か？
• RQ3 敵対的サンプルに対して明示的なノルム制約を削除しても、標準的な敵対的訓練と比較して依然としてより良いロバスト性が得られるか？
• RQ4 ミックスアップによる信頼度キャリブレーションは、クリーン精度を損なわずに認証可能精度を向上させることができるか？
• RQ5 SmoothMix は、SmoothAdv や一貫性学習といった最先端の手法と比較して、認証可能ロバスト性においてどのように差をつけるか？

主な発見

• CIFAR-10 において $σ=1.0$ の場合、SmoothMix は $ε=1.5$ で 43% の認証可能テスト精度を達成し、SmoothAdv（38%）とガウスベースライン（37%）を上回った。
• ImageNet において $σ=1.0$ の場合、SmoothMix は $ε=3.0$ で 30% の認証可能精度を達成し、SmoothAdv（30%）とベースライン（26%）を上回った。
• MNIST において $σ=1.0$ の場合、SmoothMix は $ε=1.5$ で 64.1% の認証可能精度を達成し、ガウスベースライン（59.6%）と SmoothAdv（63.7%）を上回った。
• アブレーションスタディでは、ノイズサンプル数 $m$ を 1 から 4 に増加させることで認証可能精度が向上し、$m=4$ が最良のパフォーマンスを示した。
• すべてのデータセットで ACR（平均信頼度半径）が維持または向上し、信頼度キャリブレーションの質が向上していることが示された。
• すべてのテストされた $ε$ 値において、ImageNet で SmoothMix はすべてのベースラインの中で最高の認証可能精度を達成し、ACR 1.047 を達成した（SmoothAdv は 1.040）。