[論文レビュー] Explicit Tradeoffs between Adversarial and Natural Distributional Robustness

Mazda Moayeri, Kiarash Banihashem+1 more|arXiv (Cornell University)|Sep 15, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

この論文は、深層ニューラルネットワークにおける敵対的ロバストネスと自然分布ロバストネスの明示的なトレードオフを示しており、特に ℓ₂ および ℓ₁ 範囲での敵対的訓練が、背景などの誤った特徴に依存するようになり、分布シフトに対してロバストネスが低下することを示している。5つのベンチマークで20のモデルを用いた実証的検証により、敵対的訓練を受けたモデルは誤った相関関係に対してより感受性が高く、このような相関関係がテストドメインで崩れた際に一般化性能が損なわれることを確認した。

ABSTRACT

Several existing works study either adversarial or natural distributional robustness of deep neural networks separately. In practice, however, models need to enjoy both types of robustness to ensure reliability. In this work, we bridge this gap and show that in fact, explicit tradeoffs exist between adversarial and natural distributional robustness. We first consider a simple linear regression setting on Gaussian data with disjoint sets of core and spurious features. In this setting, through theoretical and empirical analysis, we show that (i) adversarial training with $\ell_1$ and $\ell_2$ norms increases the model reliance on spurious features; (ii) For $\ell_\infty$ adversarial training, spurious reliance only occurs when the scale of the spurious features is larger than that of the core features; (iii) adversarial training can have an unintended consequence in reducing distributional robustness, specifically when spurious correlations are changed in the new test domain. Next, we present extensive empirical evidence, using a test suite of twenty adversarially trained models evaluated on five benchmark datasets (ObjectNet, RIVAL10, Salient ImageNet-1M, ImageNet-9, Waterbirds), that adversarially trained classifiers rely on backgrounds more than their standardly trained counterparts, validating our theoretical results. We also show that spurious correlations in training data (when preserved in the test domain) can improve adversarial robustness, revealing that previous claims that adversarial vulnerability is rooted in spurious correlations are incomplete.

研究の動機と目的

• 信頼性のあるモデルデプロイメントに不可欠であるが、しばしば独立して研究されている敵対的ロバストネスと分布ロバストネスの相互作用を調査すること。
• 誤った特徴への依存が敵対的脆弱性の根本的原因であるという一般的な仮定に挑戦し、敵対的訓練が実際にそのような依存を増大させることを示すこと。
• 異なる敵対的訓練ノルム（ℓ₁、ℓ₂、ℓ∞）が誤った特徴へのモデル依存に与える影響を理論的考察に基づき実証的に検証すること。
• 誤った相関関係が、ある条件下では直感に反して敵対的ロバストネスを向上させることはあるか、その条件を特定すること。

提案手法

• ガウス分布データ下での線形回帰モデルを用いた理論的分析。コア特徴と誤った特徴が分離された設定において、敵対的訓練が誤った特徴への依存を増大させる条件を導出する。
• ℓ∞ 敵対的訓練が誤った特徴への依存を増大させる条件の導出 — 特に、誤った特徴のスケールがコア特徴のスケールを上回る場合に限って成立する。
• ObjectNet、RIVAL10、Salient ImageNet-1M、ImageNet-9、Waterbirds の5つのベンチマークで、ℓ₂ および ℓ∞ プロジェクション勾配降下法を用いて敵対的訓練された20のモデルを実証的に評価する。
• テストドメインで誤った背景相関関係が破壊された場合の性能低下を測定するため、Background Gap メトリックを用いる（例：Mixed-Same 対 Mixed-Rand スプリット）。
• Waterbirds ベンチマークにおけるモデル性能を評価し、誤った相関関係が保持されたメジャリティグループと破壊されたマイナリティグループの精度差を測定して、誤った相関関係への感受性を分析する。
• CIFAR-10 で注入されたカラーチャネルの誤った特徴を用いた制御実験により、より強い誤った相関関係が攻撃下での敵対的ロバストネスを向上させるかどうかを検証する。

実験結果

リサーチクエスチョン

• RQ1 ℓ₁、ℓ₂、ℓ∞ 範囲での敵対的訓練が誤った特徴へのモデル依存を増大させるか。その場合、どのような条件下でそうなるか？
• RQ2 誤った相関関係がテストドメインで崩れた場合、敵対的訓練による誤った特徴への依存増大が、分布ロバストネスにどの程度悪影響を及えるか？
• RQ3 訓練データに誤った相関関係が存在することが、ある条件下で実際に敵対的ロバストネスを向上させる可能性があるか。その条件は何か？
• RQ4 ℓ₂ と ℓ∞ の異なる敵対的訓練ノルムは、誤った特徴への依存および分布シフト下での一般化性能に、どのように異なる影響を及えるか？

主な発見

• ℓ₂ および ℓ₁ 敵対的訓練では、攻撃者がより多くの特徴に摂動予算を分散させる必要があるため、誤った特徴がより影響力を持つようになり、モデルが誤った特徴に依存するようになる。
• ℓ∞ 敵対的訓練では、誤った特徴のスケールがコア特徴のスケールを上回る場合にのみ、誤った特徴への依存が増大する。これは攻撃者が強い誤った相関関係を破壊できないためである。
• RIVAL10 および Salient ImageNet-1M において、敵対的訓練を受けたモデルは顕著に大きな Background Gap を示しており、誤った背景相関関係が破壊された場合の分布ロバストネスが劣化していることが示された — 特に ℓ₂ 訓練モデルで顕著だった。
• Waterbirds ベンチマークでは、100% の ℓ₂ 敵対的訓練モデルと 60% の ℓ∞ 敵対的訓練モデルが、標準ベースラインよりメジャリティグループとマイナリティグループの間でより大きな性能差を示し、誤った特徴への依存が増大していることを確認した。
• ℓ₂ 敵対的訓練を受けた ResNet50（ε=5）では、誤った相関関係が破壊された際の精度低下が 18.9% に達したのに対し、標準訓練モデルでは 9.7% にとどまっていた。これは分布ロバストネスの著しい低下を示している。
• 制御された CIFAR-10 実験では、相関係数（ρ）が高い強い誤ったカラーチャネル特徴を注入したことで、敵対的ロバストネスが向上した。ロバスト精度の差はベースライン比で最大4倍にまで拡大し、誤った特徴が敵対的ロバストネスを損なうのではなく、向上させることさえあることが示された。