[論文レビュー] Understanding and Mitigating the Tradeoff Between Robustness and Accuracy

Aditi Raghunathan, Sang Michael Xie+3 more|arXiv (Cornell University)|Feb 25, 2020

Adversarial Robustness in Machine Learning被引用数 67

ひとこと要約

本論文は敵対的訓練が標準誤差を高める理由を分析し、線形回帰でこのトレードオフを特徴づけ、標準誤差を害さずロバスト誤差を改善する堅牢な自己訓練（RST）を提案し、CIFAR-10で経験的利益を示す。

ABSTRACT

Adversarial training augments the training set with perturbations to improve the robust error (over worst-case perturbations), but it often leads to an increase in the standard error (on unperturbed test inputs). Previous explanations for this tradeoff rely on the assumption that no predictor in the hypothesis class has low standard and robust error. In this work, we precisely characterize the effect of augmentation on the standard error in linear regression when the optimal linear predictor has zero standard and robust error. In particular, we show that the standard error could increase even when the augmented perturbations have noiseless observations from the optimal linear predictor. We then prove that the recently proposed robust self-training (RST) estimator improves robust error without sacrificing standard error for noiseless linear regression. Empirically, for neural networks, we find that RST with different adversarial training methods improves both standard and robust error for random and adversarial rotations and adversarial $\\ell_\\infty$ perturbations in CIFAR-10.

研究の動機と目的

• 敵対的訓練におけるロバスト性と精度のトレードオフの研究を動機づける。
• 一貫した摂動によるデータ拡張が線形回帰で標準誤差に与える影響を特徴づける。
• トレードオフを緩和するための堅牢な自己訓練（RST）を導入する。
• 線形モデルにおいてRSTがトレードオフを排除する条件を理論的に示す。
• ラベル付きデータの量と摂動の種類に対してCIFAR-10でRSTを実証的に評価する。

提案手法

• 線形回帰における二乗損失を用いて標準誤差とロバスト誤差をモデル化する。
• 標準データと拡張データを用いた最小ノルム補間量として拡張推定量を定義する。
• 定理1を導出し、標準誤差の差をL_std(theta_std)−L_std(theta_aug)=v^T Sigma v + 2 w^T Sigma vとして表す。
• 補題1を示し、標準誤差を増やさない十分条件（例：Sigma = I、または拡張データが空間を張る）を与える。
• 堅牢な自己訓練（RST）を導入し、線形回帰に特化して、L_std(hat{theta_rst}) ≤ L_std(theta_int-std) および L_rob(hat{theta_rst}) = L_std(hat{theta_rst}) を証明する。
• 実践的なアルゴリズム的アプローチを提供し、RSTをSigma誘導正則化と結びつける。

実験結果

リサーチクエスチョン

• RQ1 一貫した摂動でデータを拡張すると標準誤差は増えるのか減るのか、どの条件でそうなるのか。
• RQ2 ロバストな訓練は線形モデルで標準誤差を増やさずにロバスト誤差を改善できるのか。
• RQ3 RST（堅牢な自己訓練）は標準誤差とロバスト誤差のトレードオフを排除するのか、ニューラルネットに対して経験的にどのように機能するのか。
• RQ4 unlabeledデータと摂動の種類が現実的な堅牢性と精度にどのような影響を与えるのか。

主な発見

• 拡張された最小ノルム推定量は、オーバーパラメータ化とデータ幾何学との相互作用により、標準誤差が標準推定量より高くなることがある。
• 標準誤差の差は L_std(hat{theta_std})−L_std(hat{theta_aug}) = v^T Sigma v + 2 w^T Sigma v で表現され、vとwは射影演算子と真のパラメータ theta* に依存する。
• 補題1は安全な拡張条件を提供し、Sigma = I または拡張データが空間を張る場合には標準誤差が増えない。
• RSTは拡張推定量を標準推定量に向けて正則化することで線形回帰におけるトレードオフを排除し、標準誤差を増やさずにロバスト誤差を低く抑える。
• CIFAR-10における経験的な結果として、RSTは摂動（ランダム/敵対的回転およびL-infinity）全般でロバスト誤差と標準誤差の両方を改善し、ラベル付きデータサイズが小さい場合に顕著な利得を示す。
• Vanilla adversarial training と比較して、RSTをPG-ATまたは TRADESと組み合わせると半教師あり設定でより高いロバスト且つ標準のテスト精度を得られる。