[論文レビュー] Are Labels Required for Improving Adversarial Robustness?

Jonathan Uesato, Jean-Baptiste Alayrac+4 more|arXiv (Cornell University)|May 31, 2019

Adversarial Robustness in Machine Learning参考文献 55被引用数 92

ひとこと要約

要旨: 本研究はラベルなしデータが対抗的訓練におけるラベル付きデータの堅牢性向上の多くを再現できることを示し、Unsupervised Adversarial Training (UAT) を導入し、ずっと少ないラベルでほぼ監視付きの性能を実現するほか、未精査データを用いた改善を示す。

ABSTRACT

Recent work has uncovered the interesting (and somewhat surprising) finding that training models to be invariant to adversarial perturbations requires substantially larger datasets than those required for standard classification. This result is a key hurdle in the deployment of robust machine learning models in many real world applications where labeled data is expensive. Our main insight is that unlabeled data can be a competitive alternative to labeled data for training adversarially robust models. Theoretically, we show that in a simple statistical setting, the sample complexity for learning an adversarially robust model from unlabeled data matches the fully supervised case up to constant factors. On standard datasets like CIFAR-10, a simple Unsupervised Adversarial Training (UAT) approach using unlabeled data improves robust accuracy by 21.7% over using 4K supervised examples alone, and captures over 95% of the improvement from the same number of labeled examples. Finally, we report an improvement of 4% over the previous state-of-the-art on CIFAR-10 against the strongest known attack by using additional unlabeled data from the uncurated 80 Million Tiny Images dataset. This demonstrates that our finding extends as well to the more realistic case where unlabeled data is also uncurated, therefore opening a new avenue for improving adversarial training.

研究の動機と目的

• ラベル付きデータへの依存を減らし、対抗的堅牢性を改善するためにラベルなしデータの利用を動機づける。
• Unsupervised Adversarial Training (UAT) 戦略を導入し、ラベルなしデータを用いて頑健な分類器を得る。
• ガウスモデルにおけるラベル有無でのサンプル複雑性を理論的に比較する。
• CIFAR-10 と SVHN において強い対抗攻撃および未精査データ下で UAT を経験的に評価する。
• 大規模なラベルなしデータを用いて最先端の堅牢性を目指す。

提案手法

• 対抗的リスクと自然リスクを定義し、内部最大化（PGDベース）対抗者を用いた代替的対抗リスクを定義する。
• 二つの UAT 戦略を提案する：オンラインターゲットを用いた非教師付き対抗訓練（UAT-OT）と固定ターゲットを用いた非教師付き対抗訓練（UAT-FT）、および結合型の UAT++。
• 教師付き損失と非教師付き平滑性損失を結合し、重み付きハイパーパラメータ λ で制御する。
• ラベルありデータの固定した堅牢性に対して、非教師データが教師付きのサンプル複雑性に匹敵できることを示すガウスモデルの理論分析を提供する。
• ε=8/255 および ε=0.01 で CIFAR-10 および SVHN を評価し、未精査の非教師付きデータとして 80 Million Tiny Images を含む実験を行う。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしデータは、データ予算を固定した場合、対抗的堅牢性をラベル付きデータと同等に達成できるか。
• RQ2 UAT のバリエーション（OT、FT、++）は CIFAR-10 および SVHN で標準および強い対抗攻撃の下でどう性能を示すか。
• RQ3 未精査のラベルなしデータ（例：80 Million Tiny Images）は CIFAR-10 の最先端の堅牢性を改善するか。
• RQ4 ラベル付きデータとラベルなしデータの分布シフトに対する UAT の堅牢性はどうか。
• RQ5 ラベルノイズが偽ラベル付け過程に与える影響に対する UAT の堅牢性はどの程度か。

主な発見

方法	Sup. Data	Unsup. Data	ネットワーク	A_nat	A_FGSM^20	A_MultiTar.
AT [48]	CIFAR-10	-	WRN-28	87.30%	47.04%	44.54%
TRADES [55]	CIFAR-10	-	WRN-34	84.92%	57.11%	52.58%
UAT++	CIFAR-10	80m@100K	WRN-34	86.04%	59.41%	52.64%
UAT++	CIFAR-10	80m@200K	WRN-34	85.85%	62.18%	53.35%
UAT++	CIFAR-10	80m@500K	WRN-34	78.34%	58.04%	48.99%
UAT++	CIFAR-10	80m@200K	WRN-70	86.75%	62.89%	55.04%
UAT++	CIFAR-10	80m@200K	WRN-106	86.46%	63.65%	56.30%

• ラベルなしデータは対抗的堅牢性においてラベル付きデータと競合可能であり、UAT バリエーションは同じラベル付きデータを使用したベースラインより堅牢性を大幅に向上させる。
• UAT-FT および UAT++ はしばしば UAT-OT より優れており、特に大規模なラベルなしデータセットで、UAT++ は CIFAR-10 および SVHN を FGSM 脅威モデル下でほぼ監視付きオラクルに近づく。
• 32K のラベルなしサンプルで CIFAR-10 において、UAT++ は 54.1% の堅牢性精度を達成し、完全監視を伴う 55.5% とほぼ同等（監視付きオラクルから 1.4 ポイント未満）
• 60K のラベルなしサンプルで、UAT++ は SVHN で 84.4% の堅牢性精度に達し、監視付きオラクルから 1.8 ポイント未満の差。
• 未精査データ（80m Tiny Images）を用い、より大きなモデルで CIFAR-10 に対する強力な攻撃に対して最先端の堅牢性を達成。例: WRN-106 が MultiTargeted 攻撃下で 56.30% を達成。
• 200K のラベルなし 80m データと WRN-34/106 を用いた UAT++ は FGSM 20 および MultiTargeted 攻撃下で TRADES および他のベースラインを大幅に上回る。
• ラベルノイズがある場合でも偽ラベルがノイズ的に破損していても顕著な改善を示し、ラベルノイズ耐性を示す。