[論文レビュー] The Pitfalls of Simplicity Bias in Neural Networks

Harshay Shah, Kaustav Tamuly+3 more|arXiv (Cornell University)|Jun 13, 2020

Adversarial Robustness in Machine Learning参考文献 81被引用数 88

ひとこと要約

この論文は SGD で訓練されたニューラルネットワークにおける Simplicity Bias (SB) を形式化し、ネットワークが最も単純な予測特徴に過度に依存することで脆弱性が生じ、ロバスト性が低下し、さらには一般化が劣化する可能性があることを示す。さらに、さまざまなアーキテクチャと訓練方法にわたるこれらの落とし穴を示すデータセットと実験を提供する。

ABSTRACT

Several works have proposed Simplicity Bias (SB)---the tendency of standard training procedures such as Stochastic Gradient Descent (SGD) to find simple models---to justify why neural networks generalize well [Arpit et al. 2017, Nakkiran et al. 2019, Soudry et al. 2018]. However, the precise notion of simplicity remains vague. Furthermore, previous settings that use SB to theoretically justify why neural networks generalize well do not simultaneously capture the non-robustness of neural networks---a widely observed phenomenon in practice [Goodfellow et al. 2014, Jo and Bengio 2017]. We attempt to reconcile SB and the superior standard generalization of neural networks with the non-robustness observed in practice by designing datasets that (a) incorporate a precise notion of simplicity, (b) comprise multiple predictive features with varying levels of simplicity, and (c) capture the non-robustness of neural networks trained on real data. Through theory and empirics on these datasets, we make four observations: (i) SB of SGD and variants can be extreme: neural networks can exclusively rely on the simplest feature and remain invariant to all predictive complex features. (ii) The extreme aspect of SB could explain why seemingly benign distribution shifts and small adversarial perturbations significantly degrade model performance. (iii) Contrary to conventional wisdom, SB can also hurt generalization on the same data distribution, as SB persists even when the simplest feature has less predictive power than the more complex features. (iv) Common approaches to improve generalization and robustness---ensembles and adversarial training---can fail in mitigating SB and its pitfalls. Given the role of SB in training neural networks, we hope that the proposed datasets and methods serve as an effective testbed to evaluate novel algorithmic approaches aimed at avoiding the pitfalls of SB.

研究の動機と目的

• SB を研究するための、特徴の単純さと予測力の正確で調整可能な概念を定義する。
• 単純な予測特徴と複雑な予測特徴を組み合わせた、モジュール式の合成データセットと画像ベースのデータセットを設計する。
• 理論的および実験的に、アーキテクチャとオプティマイザを横断して極端な SB を実証する。
• SB を非ロバスト性、分布シフト、敵対的脆弱性と関連づけ、一般的な対処法を評価する。

提案手法

• 決定境界における線形区間の最小数によって特徴の単純さを形式的に定義する。
• 単純な特徴と複雑な特徴を組み合わせた多次元の合成データセット（例：LMS-k、L̂MS-k、MS-(5,7)、MS-5）とMNIST-CIFAR画像を構築する。
• SGD で訓練された1-層の ReLU ネットワークが LSN データセットで SB を示すことを証明する。
• 実証的に、FCN、CNN、GRU モデル間および異なるオプティマイザと正則化手法の下で SB を示す。
• SB の下でのロバスト性、信頼度推定、および一般化を分析し、UAP 転移性解析を含む。

実験結果

リサーチクエスチョン

• RQ1 複数の予測特徴が存在する場合、SGD で訓練されたモデルは最も単純な予測特徴に偏っているか。
• RQ2 アーキテクチャと訓練設定全体で SB はどれほど極端か、単純特徴のマージンが小さい場合でも継続するか。
• RQ3 SB が分布シフトや敵対的摂動下でのロバスト性、信頼度推定、および一般化へ与える影響は何か。
• RQ4 アンサンブルや敵対的トレーニングは SB 及びその落とし穴を緩和するか。

主な発見

• SB は極端になることがある：ニューラルネットワークは最も単純な特徴のみに過度に依存し、複雑な予測特徴を無視することがある。
• 極端な SB は敵対的摂動や分布シフトへのロバスト性の低下と相関する。
• SB は単純な特徴が複雑な特徴より予測力を欠く場合に一般化を損なうことがある。
• 提案データセットにおいて、アンサンブルや敵対的トレーニングは SB を確実に緩和しない。