[論文レビュー] Unlabeled Data Improves Adversarial Robustness

Yair Carmon, Aditi Raghunathan+3 more|arXiv (Cornell University)|May 31, 2019

Adversarial Robustness in Machine Learning参考文献 58被引用数 73

ひとこと要約

この論文は、半教師あり自己訓練を介したラベルなしデータが、理論的にはガウスモデルで、実験的にはCIFAR-10とSVHNで、従来の堅牢性向上手法を上回り、対敵サンプルに対する堅牢性を大幅に改善できることを示す。

ABSTRACT

We demonstrate, theoretically and empirically, that adversarial robustness can significantly benefit from semisupervised learning. Theoretically, we revisit the simple Gaussian model of Schmidt et al. that shows a sample complexity gap between standard and robust classification. We prove that unlabeled data bridges this gap: a simple semisupervised learning procedure (self-training) achieves high robust accuracy using the same number of labels required for achieving high standard accuracy. Empirically, we augment CIFAR-10 with 500K unlabeled images sourced from 80 Million Tiny Images and use robust self-training to outperform state-of-the-art robust accuracies by over 5 points in (i) $\ell_\infty$ robustness against several strong attacks via adversarial training and (ii) certified $\ell_2$ and $\ell_\infty$ robustness via randomized smoothing. On SVHN, adding the dataset's own extra training set with the labels removed provides gains of 4 to 10 points, within 1 point of the gain from using the extra labels.

研究の動機と目的

• 未ラベルデータを活用できる安定性問題として敵対的ロバストネスを動機づける。
• ガウスモデルにおける標準分類と堅牢分類のサンプル複雑性の差を示し、未ラベルデータがそれを埋める方法を示す。
• 擬似ラベルと堅牢訓練を組み合わせたRobust Self-Training (RST)を提案する。
• 大規模な未ラベルデータセットと認証のためのランダム化平滑化を用いてCIFAR-10とSVHNで実証的な利得を示す。

提案手法

• 高次元ガウスモデルを分析し、未ラベルデータの有無で標準学習と堅牢学習を比較する。
• 中間モデルが未ラベルデータにラベルを付けて最終的な堅牢分類器を形成する自己訓練を適用する。
• ラベル付きデータと擬似ラベルデータを組み合わせた堅牢損失を最小化するRSTを導入する。
• 敵対的訓練（PG）または安定性訓練（ランダム化平滑化）を用いて堅牢性目的を近似する。
• CIFAR-10を500Kの未ラベルTiny Imagesで、SVHNを追加の未ラベルデータで評価し、ヒューリスティックな堅牢性と認定堅牢性の両方を測定する。

実験結果

リサーチクエスチョン

• RQ1 未ラベルデータは標準分類と堅牢分類のサンプル複雑性のギャップを縮小するか。
• RQ2 擬似ラベルを用いた自己訓練は、標準精度と同じラベル数で高い堅牢精度を達成できるか。
• RQ3 敵対的評価と認定評価の下で、CIFAR-10とSVHNにおける未ラベルデータの堅牢性向上はどの程度か。
• RQ4 無関係な未ラベルデータや未ラベルデータ量に対する堅牢自己訓練の感度はどの程度か。
• RQ5 堅牢性の観点で、堅牢自己訓練は他の半教師あり手法やデータ拡張法とどう比較されるか。

主な発見

• ガウスモデルにおいて、O(n0 ε^2 sqrt(d/n0)) 個の未ラベルサンプルと n0 ラベルを用いた自己訓練は高い堅牢精度を達成し、以前に観測されたギャップを埋める。
• CIFAR-10では、500Kの未ラベルTiny Imagesを用いた堅牢自己訓練が、敵対的ロバストネスで最先端の堅牢精度を5〜7ポイント以上上回り、認定ℓ2/ℓ∞の堅牢性を改善する。
• SVHNでは、追加の未ラベルデータを使用するとRSTが4–10ポイントの堅牢性向上を生み出し、擬似ラベルが利益の大半を占める（ラベル自体は追加の利得をほとんど提供しない）。
• 堅牢自己訓練はVATなどの他の半教師あり手法より堅牢性の向上で優れることがあり、擬似ラベリングにより駆動された未ラベルデータが主に改善を促す。
• 未ラベルデータを用いた安定性訓練による認定堅牢性は強いℓ2堅牢性と競争力のあるℓ∞認定を達成し、標準精度の向上も見られる。