[論文レビュー] Adversarially Robust Generalization Just Requires More Unlabeled Data

Runtian Zhai, Tianle Cai+5 more|arXiv (Cornell University)|Jun 3, 2019

Adversarial Robustness in Machine Learning参考文献 48被引用数 90

ひとこと要約

この論文は、ラベルなしデータを増やすことで敵対的に頑健な一般化を改善できることを証明し、MNISTとCIFAR-10で頑健性を高めるためにラベルなしデータを活用する半教師付き敵対訓練法を導入します。

ABSTRACT

Neural network robustness has recently been highlighted by the existence of adversarial examples. Many previous works show that the learned networks do not perform well on perturbed test data, and significantly more labeled data is required to achieve adversarially robust generalization. In this paper, we theoretically and empirically show that with just more unlabeled data, we can learn a model with better adversarially robust generalization. The key insight of our results is based on a risk decomposition theorem, in which the expected robust risk is separated into two parts: the stability part which measures the prediction stability in the presence of perturbations, and the accuracy part which evaluates the standard classification accuracy. As the stability part does not depend on any label information, we can optimize this part using unlabeled data. We further prove that for a specific Gaussian mixture problem, adversarially robust generalization can be almost as easy as the standard generalization in supervised learning if a sufficiently large amount of unlabeled data is provided. Inspired by the theoretical findings, we further show that a practical adversarial training algorithm that leverages unlabeled data can improve adversarial robust generalization on MNIST and Cifar-10.

研究の動機と目的

• 敵対的頑健性の研究動機づけと、一般化を改善する上でのラベルなしデータの役割を説明する。
• 頑健リスクを安定性項（ラベルなしデータに依存）と精度項（ラベルを要する）に分解する。
• 一般的なリスク界を含む理論的結果と、ラベルなしデータが十分であれば頑健性と標準的な一般化の差を埋めることを示すガウス混合の例を提供する。
• ラベル付きデータとラベルなしデータを用いて頑健な一般化を改善する実用的なSSLベースの敵対訓練アルゴリズムを開発・検証する。

提案手法

• リスク分解を提示する：RRobust ≤ E_x sup_{x' in B(x)} I(f(x') ≠ f(x)) + RHat(f) + Rad_S(F) + 3 sqrt(log(2/δ)/(2n)).
• 最初の項はP_Xを介してラベルなしデータのみに依存することを示し、ラベルなしデータで最小化可能である。
• 十分なラベルなしデータがある場合、ガウス混合ケースで頑健な一般化が標準的な一般化とサンプル複雑度の観点で同等になることを証明する。
• Algorithm 1（ラベル付きデータとラベルなしデータを含む一般化仮想的対データ訓練）を提案し、ラベル付きの頑健訓練をラベルなしの整合性/頑健性項で拡張する。
• L1をラベル付きデータでの頑健訓練、L2を疑似ラベルを用いたラベルなしデータでの頑健性目的として定義し、LSSL = L1 + λ L2として結合する。
• 実用的なSSL目的関数を提供し、VATを拡張して複数のPGDステップ（k ≥ 7）を用い、頑健な一般化を改善する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしデータは、敵対的に頑健な一般化に対してラベル付きデータの要件を削減できるか。
• RQ2 頑健性の目的を、ラベルなしデータを効果的に活用するようにどのように定式化できるか。
• RQ3 ガウス混合モデルは、ラベル付きデータと同様に豊富なラベルなしデータで頑健性の挙動を示すか。
• RQ4 実用的なアルゴリズムは、ラベル付きデータとラベルなしデータの双方を活用して、標準的な敵対的訓練よりも実データセット上で優れるか。

主な発見

• 2項の境界は、頑健リスクが安定性項（ラベルなしデータ依存）と標準的なPAC風項の和であることを示す。
• ガウス混合設定では、豊富なラベルなしデータがあると、サンプル複雑度の点で頑健な一般化と標準的な一般化を同等にすることができる。
• 実践的なSSLアルゴリズムは、ラベル付きデータだけを用いたベースラインよりもMNISTとCIFAR-10の頑健なテスト精度を向上させる。
• 攻撃のPGDステップ数（k）を増やすと、ラベルなしデータを使用した場合に頑健な一般化が向上する。
• 本手法は、より大きなラベル付きデータセットで学習したベースラインと比較して、防御成功率の向上と頑健な性能の競争力を示す。