[論文レビュー] Understanding and Mitigating the Tradeoff Between Robustness and Accuracy

Aditi Raghunathan, Sang Michael Xie+3 more|arXiv (Cornell University)|Feb 25, 2020

Adversarial Robustness in Machine Learning参考文献 34被引用数 51

ひとこと要約

本論文は敵対的訓練が標準誤差を悪化させる理由を分析し、堅牢な自己訓練（RST）が線形回帰において標準誤差を増やさず堅牢誤差を改善できることを示し、ラベルなしデータを用いた CIFAR-10 における経験的改善を報告する。

ABSTRACT

Adversarial training augments the training set with perturbations to improve the robust error (over worst-case perturbations), but it often leads to an increase in the standard error (on unperturbed test inputs). Previous explanations for this tradeoff rely on the assumption that no predictor in the hypothesis class has low standard and robust error. In this work, we precisely characterize the effect of augmentation on the standard error in linear regression when the optimal linear predictor has zero standard and robust error. In particular, we show that the standard error could increase even when the augmented perturbations have noiseless observations from the optimal linear predictor. We then prove that the recently proposed robust self-training (RST) estimator improves robust error without sacrificing standard error for noiseless linear regression. Empirically, for neural networks, we find that RST with different adversarial training methods improves both standard and robust error for random and adversarial rotations and adversarial $\ell_\infty$ perturbations in CIFAR-10.

研究の動機と目的

• 過剰パラメータ化された線形回帰における一貫した摂動を用いたデータ拡張が標準誤差に与える影響を特徴づける。
• 最小ノルム補間の帰納的バイアスを介して、堅牢性と標準精度のトレードオフを説明する。
• 理論（線形回帰）と実践（ニューラルネットワーク）の両方でこのトレードオフを緩和するために、堅牢な自己訓練（RST）を提案・分析する。
• さまざまな摂動とラベルなしデータ源を用いて CIFAR-10 に対する RST を経験的に評価する。

提案手法

• 訓練行列の零空間への射影から生じる成分 v および w に分解される、拡張後の標準誤差の理論的分解（定理1）。
• 拡張推定量が標準誤差を増加させるか増加させないかの条件の特徴付け（補題1）。
• 拡張による標準誤差の増加の大きさとモデル複雑性を結びつける命題。
• unlabeled data を用いた標準推定量への正則化としての Robust Self-Training (RST) の導入と特化。
• ノイズレスな線形回帰において標準と堅牢のトレードオフをRSTが排除するという形式的証明（定理2）。
• CIFAR-10 に対する RST の経験的評価（ unlabeled Tiny Images データを使用）、摂動と訓練データサイズの範囲で。

実験結果

リサーチクエスチョン

• RQ1 一貫した摂動を用いたデータ拡張は、最小ノーム補間量の標準誤差をいつ増加させるのか？
• RQ2 帰納的バイアスとデータ幾何（Sigma で捉えられる） は、敵対的訓練で観察される堅牢性と精度のトレードオフを説明できるか？
• RQ3 RST は拡張推定量を標準推定量へ向かって正則化し、堅牢性を高めつつ標準誤差の悪化を避けられるか？
• RQ4 RST の経験的利得は、線形モデルを超えてニューラルネットワークで一般的な摂動下にも拡張されるか？
• RQ5 ラベルなしデータと異なる摂動ファミリは、実践的に堅牢性と標準精度の双方にどう影響するか？

主な発見

手法	堅牢なテスト精度	標準のテスト精度
Vanilla Standard Training	0.8%	95.2%
PG-AT (Madry et al., 2018)	45.8%	87.3%
TRADES (Zhang et al., 2019)	55.4%	84.0%
Standard Self-Training	0.3%	96.4%
Robust Consistency Training (Carmon et al., 2019)	56.5%	83.2%
RST + PG-AT (this paper)	58.5%	91.8%
RST + TRADES (this paper) (Carmon et al., 2019)	63.1%	89.7%

• 一貫した摂動を用いた拡張は、真のパラメータ成分と共分散 Sigma に依存して、過剰パラメータ化された線形回帰において標準誤差を増加させ得る（定理1）。
• 標準誤差を増加させない十分条件には、Sigma = I、全スパンの拡張、または Sigma固有ベクトルに整列した単一摂動が含まれる（補題1）。
• トレードオフは最小ノーム補間の帰納バイアスに由来する；局所的な摂動は Sigma と theta* によってグローバル成分を損ねる可能性があり、データ幾何と連携する。
• RST は拡張推定量を標準推定量へ正則化してトレードオフを排除し、標準誤差が標準推定量を超えないまま堅牢誤差を低く達成する（定理2）。
• 実証的には、RST は CIFAR-10 でランダムおよび敵対的回転・平行移動・l-infinity 摂動を跨いで、ラベル付きデータサイズが小さい場合に特に、堅牢性と標準誤差の双方を改善する。
• セミ教師なし設定では、RST を AT 手法（例：PG-AT、TRADES）と組み合わせると、堅牢なテスト精度が向上し、しばしば標準テスト精度も raw-baseline より高くなる。