[論文レビュー] Uncovering the Limits of Adversarial Training against Norm-Bounded Adversarial Examples

Sven Gowal, Chongli Qin+3 more|arXiv (Cornell University)|Oct 7, 2020

Adversarial Robustness in Machine Learning参考文献 91被引用数 144

ひとこと要約

本論文は敵対的トレーニングの限界を明らかにする系統的な研究を行い、より大きなモデル、Swish/SiLU 活性化、そしてモデル重み平均化を組み合わせることで、特にラベルなしデータを用いた場合に頑健性の substantial gains をもたらすことを示す。

ABSTRACT

Adversarial training and its variants have become de facto standards for learning robust deep neural networks. In this paper, we explore the landscape around adversarial training in a bid to uncover its limits. We systematically study the effect of different training losses, model sizes, activation functions, the addition of unlabeled data (through pseudo-labeling) and other factors on adversarial robustness. We discover that it is possible to train robust models that go well beyond state-of-the-art results by combining larger models, Swish/SiLU activations and model weight averaging. We demonstrate large improvements on CIFAR-10 and CIFAR-100 against $\ell_\infty$ and $\ell_2$ norm-bounded perturbations of size $8/255$ and $128/255$, respectively. In the setting with additional unlabeled data, we obtain an accuracy under attack of 65.88% against $\ell_\infty$ perturbations of size $8/255$ on CIFAR-10 (+6.35% with respect to prior art). Without additional data, we obtain an accuracy under attack of 57.20% (+3.46%). To test the generality of our findings and without any additional modifications, we obtain an accuracy under attack of 80.53% (+7.62%) against $\ell_2$ perturbations of size $128/255$ on CIFAR-10, and of 36.88% (+8.46%) against $\ell_\infty$ perturbations of size $8/255$ on CIFAR-100. All models are available at https://github.com/deepmind/deepmind-research/tree/master/adversarial_robustness.

研究の動機と目的

• ロバスト性を持つノルム制約付き摂動に対する敵対的トレーニングの有効性と限界を評価する。
• トレーニング損失、モデルサイズ、活性化関数、ラベルなしデータ、重み平均化が頑健な精度に与える影響を調査する。
• CIFAR-10/100 および MNIST における最先端の頑健性を大幅に改善する要因の組み合わせを特定する。

提案手法

• 内部/外部最適化損失を用いた敵対的トレーニングのバリアントを定式化して評価する。
• 標準AT、TRADES、MART 損失を異なる内部最大化戦略と比較する。
• モデルスケーリング（深さ/幅）と活性化関数（Swish/SiLU）を実験する。
• 80 Million Tiny Images からの疑似ラベリングを用いてラベルなしデータを組み込み、ラベル付き/ラベルなしの比率を変える。
• トレーニング中のモデル重み平均化を適用し、頑健性への影響を評価する。
• 強力な攻撃（AutoAttack と MultiTargeted）と検証データの頑健性に基づく早期停止を用いて頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 ノルム制約付き摂動の下で現行の敵対的トレーニングアプローチの限界は何か。
• RQ2 内部/外部損失の選択がデータ規模の違いに関係なく頑健性とクリーン精度にどう影響するか。
• RQ3 ラベルなしデータと疑似ラベリングは頑健な性能を改善するか、そしてそれをどう統合すべきか。
• RQ4 モデル容量（深さ/幅）と活性化関数は頑健性にどう影響するか。
• RQ5 重み平均化は設定を問わず一貫した頑健性の利益をもたらすか。

主な発見

• TRADES は早期停止を用いると、CIFAR-10 における頑健性で古典的な対抗的トレーニングを上回ることが多く、ラベルなしデータの有無にかかわらず高い頑健性を示す。
• モデル容量（深さ/幅）を増やすと一般に頑健性が向上し、より深いモデルが時により大きなパラメータ数を持つモデルを上回ることがある。
• Swish/SiLU 活性化は頑健性の利点をもたらすが、他の滑らかな活性化は必ずしも有効ではない。
• 疑似ラベリングによるラベルなしデータは頑健性を高め、彼らの設定ではラベル付き対ラベルなしデータの最適比率がおおよそ3:7である。
• モデル重み平均化は一貫して頑健性を改善し、場合によってはデータ量が少ない設定で TRADES の利得に匹敵する。
• 彼らの最良の CIFAR-10 結果は、ラベルなしデータを用いた場合で8/255 L-infinity摂動に対する頑健精度が65.88%、ラベルなしなしの場合は57.20%に達する。CIFAR-10 の L2-128/255 では頑健精度が80.53%に達する、など。（文中の文脈参照の値）