[论文解读] More Data Can Expand the Generalization Gap Between Adversarially Robust and Standard Models

Lin Chen, Yifei Min+2 more|arXiv (Cornell University)|Feb 11, 2020

Adversarial Robustness in Machine Learning参考文献 57被引用 19

一句话总结

本文表明，在 $ε$-有界 $π$-範數攻擊下，增加訓練資料量可能反而會擴大對抗性魯棒模型與標準模型之間的泛化差距。透過對高斯分佈、伯努利分佈及線性迴歸模型的理論分析，識別出兩種狀態：在強對抗者狀態（$ε$ 較大時），隨著資料量增加，差距會無限擴大；在弱對抗者狀態，差距在達到某一臨界資料閾值後最終會縮小，而此閾值可任意大。研究結果挑戰了「更多資料總是能改善魯棒學習中泛化能力」的傳統觀點。

ABSTRACT

Despite remarkable success in practice, modern machine learning models have been found to be susceptible to adversarial attacks that make human-imperceptible perturbations to the data, but result in serious and potentially dangerous prediction errors. To address this issue, practitioners often use adversarial training to learn models that are robust against such attacks at the cost of higher generalization error on unperturbed test sets. The conventional wisdom is that more training data should shrink the gap between the generalization error of adversarially-trained models and standard models. However, we study the training of robust classifiers for both Gaussian and Bernoulli models under $\ell_\infty$ attacks, and we prove that more data may actually increase this gap. Furthermore, our theoretical results identify if and when additional data will finally begin to shrink the gap. Lastly, we experimentally demonstrate that our results also hold for linear regression models, which may indicate that this phenomenon occurs more broadly.

研究动机与目标

• 探討增加訓練資料是否能縮小對抗性魯棒模型與標準模型之間的泛化差距。
• 識別在何種條件下，更多資料會擴大而非縮小對抗訓練中的跨泛化差距。
• 理論與實證分析不同資料分佈與對抗者強度下泛化差距的行為。
• 挑戰「在魯棒機器學習中，更多資料總是能普遍改善泛化能力」的傳統信念。

提出的方法

• 針對高斯分佈與伯努利分佈資料，在 $π$-範數有界擾動下對魯棒與標準模型進行理論分析。
• 根據對抗者強度 ($\varepsilon$) 與訊號強度的相對關係，推導泛化差距隨訓練樣本數 $n$ 增加或減少的條件。
• 識別出兩種狀態之間的相變：強對抗者狀態（差距隨 $n$ 增大）與弱對抗者狀態（差距在閾值後最終縮小）。
• 使用不同 $\varepsilon$ 與 $n$ 的合成資料，在線性迴歸模型上進行實證驗證，確認相變現象的存在。
• 使用縮放後的測試損失，比較不同資料狀態與對抗者強度下的模型表現。
• 分析理論與實驗設定下，泛化差距相對於 $n$ 的收斂行為與單調性。

实验结果

研究问题

• RQ1 增加訓練資料量是否總是能縮小對抗性魯棒模型與標準模型之間的泛化差距？
• RQ2 在何種條件下，更多資料會導致泛化差距擴大而非縮小？
• RQ3 是否存在一個臨界資料閾值，超過此閾值後，魯棒模型的泛化差距開始減少？
• RQ4 對抗者強度 ($\varepsilon$) 相對於資料訊號強度如何決定泛化行為的狀態？
• RQ5 在線性迴歸模型中，差距行為由增加轉為減少的相變是否仍然存在？

主要发现

• 在強對抗者狀態（$ε$ 較大時），魯棒與標準模型之間的泛化差距隨訓練資料量增加而單調遞增，且當 $n \to \infty$ 時趨近於一有限極限。
• 在弱對抗者狀態（$ε$ 較小時），泛化差距起初隨 $n$ 增加，但在達到某一臨界資料閾值後最終會減少，而此閾值可任意大。
• 對於高斯模型，差距行為由增加轉為減少的閾值取決於 $\varepsilon$ 與訊號強度，且可被設為任意大，表示更多資料可能永遠擴大差距。
• 在伯努利模型中，泛化差距呈現振盪行為，但整體仍依賴於對抗者狀態而呈現增加或減少的趨勢。
• 線性迴歸的實證結果確認了相同的相變現象：當 $\varepsilon$ 較大時，魯棒模型的測試損失隨 $n$ 增加；當 $\varepsilon$ 較小時，則隨 $n$ 減少。
• 在弱對抗者下，無限資料極限時跨泛化差距趨近於零，但在強對抗者下，即使資料無限多，差距仍與零保持有界距離。