[論文レビュー] Label Smoothing and Logit Squeezing: A Replacement for Adversarial Training?

Ali Shafahi, Amin Ghiasi+2 more|arXiv (Cornell University)|Oct 25, 2019

Adversarial Robustness in Machine Learning参考文献 19被引用数 34

ひとこと要約

本論文は、単純な正則化（ラベルスムージングとロジットスクイージング）とガウスノイズを組み合わせることで、敵対的訓練を用いた場合と同等かそれ以上の頑健性を達成できることを示しており、敵対的な例を使用していない。

ABSTRACT

Adversarial training is one of the strongest defenses against adversarial attacks, but it requires adversarial examples to be generated for every mini-batch during optimization. The expense of producing these examples during training often precludes adversarial training from use on complex image datasets. In this study, we explore the mechanisms by which adversarial training improves classifier robustness, and show that these mechanisms can be effectively mimicked using simple regularization methods, including label smoothing and logit squeezing. Remarkably, using these simple regularization methods in combination with Gaussian noise injection, we are able to achieve strong adversarial robustness -- often exceeding that of adversarial training -- using no adversarial examples.

研究の動機と目的

• 敵対的訓練がどのように頑健性を生み出すか、ロジットと勾配の観点で何を達成するかを理解する。
• ラベルスムージングやロジットスクイージングなどの正則化手法が、敵対的訓練の効果を模倣できるかを探る。
• 単純な正則化と組み合わせた場合のガウスノイズ拡張が頑健性を高める役割を評価する。
• 標準データセット（MNIST、CIFAR-10/100）で実証的な頑健性を示し、敵対的訓練と比較する。

提案手法

• ロジットギャップ、勾配ギャップ、摂動サイズを結ぶ線形化モデルを用いて、敵対的頑健性を分解する。
• ロジットギャップを減らし、信頼度の低下を模倣するためにラベルスムージングを適用。
• 大きなロジットを抑制し、勾配を縮小させるためにロジットスクイージングを適用。
• ガウスノイズを用いて訓練データを拡張し、マニフォールド外の入力を正則化する。
• 正則化手法とガウス拡張を組み合わせ、FGSMおよび反復PGD攻撃に対して評価する。
• MNIST、CIFAR-10、CIFAR-100で、標準的な敵対的訓練（例：Madry ら）と性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 ラベルスムージングとロジットスクイージングは、敵対的訓練の主要な頑健性効果を再現できるか。
• RQ2 これらの正則化手法が敵対的訓練に匹敵または上回るようにするうえで、ガウスノイズ拡張の役割は何か。
• RQ3 標準ベンチマークで、ホワイトボックス対ブラックボックスの脅威下でこれらの手法がどのように機能するか。

主な発見

• ラベルスムージングとガウス拡張の組み合わせは高い頑健性を生み出し、CIFAR-10はブラックボックスの反復攻撃に対して73％を超える精度を達成し、最先端の敵対的訓練モデルの64％と比較される。
• ホワイトボックス設定では、ロジットスクイージングとラベルスムージングで訓練した分類器は反復攻撃で約50％の精度に達する一方、敵対的訓練は約47％。
• 強力なロジットスクイージング（例：beta=10）とガウスノイズの組み合わせは、White-box PGD-20攻撃下でCIFAR-10においてMadryらの敵対的訓練を上回る可能性があり、クリーン精度も場合によっては向上する。
• ラベルスムージングだけでは頑健性がわずかに低下することがあるが、ガウス拡張と組み合わせると勾配ギャップを著しく縮小し、勾配を整列させて頑健性を高める。
• ロジットスクイージングは、ガウスノイズを用いた場合、いくつかの設定でロジットギャップを増加させ、勾配の大きさを減少させ、敵対的訓練に似た頑健性パターンを生み出す。CIFAR-10/100では特に有効な場合がある。