[論文レビュー] Bad Global Minima Exist and SGD Can Reach Them

Shengchao Liu, Dimitris Papailiopoulos+1 more|arXiv (Cornell University)|Jan 1, 2020

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

この論文は、過パラメータ化された深層ネットワークにおいて、訓練誤差がゼロであるが一般化性能が悪い『悪いグローバルミニマ』が存在することを示している。ランダムラベル学習からの悪意ある初期化を用いて、SGDはCIFAR、CINIC10、ImageNetでこれらの悪い解へ素早く収束する。これによりテスト精度が最大40%低下するが、データ拡張などの正則化手法により一般化性能が回復する。

ABSTRACT

Several recent works have aimed to explain why severely overparameterized models, generalize well when trained by Stochastic Gradient Descent (SGD). The emergent consensus explanation has two parts: the first is that there are bad local while the second is that SGD performs implicit regularization by having a bias towards low complexity models. We revisit both of these ideas in the context of image classification with common deep neural network architectures. Our first finding is that there exist bad global minima, i.e., models that fit the training set perfectly, yet have poor generalization. Our second finding is that given only unlabeled training data, we can easily construct initializations that will cause SGD to quickly converge to such bad global minima. For example, on CIFAR, CINIC10, and (Restricted) ImageNet, this can be achieved by starting SGD at a model derived by fitting random labels on the training data: while subsequent SGD training (with the correct labels) will reach zero training error, the resulting model will exhibit a test accuracy degradation of up to 40% compared to training from a random initialization. Finally, we show that regularization seems to provide SGD with an escape route: once heuristics such as data augmentation are used, starting from a complex model (adversarial initialization) has no effect on the test accuracy.

研究の動機と目的

• SGDで訓練された過パラメータ化された深層ニューラルネットワークに、悪いグローバルミニマが存在するかどうかを調査すること。
• ランダムラベルで事前学習した複雑で悪意あるモデルからの初期化において、SGDが一般化性能が悪い解に収束するかどうかを検討すること。
• 正則化の役割が、悪いグローバルミニマからの脱出を可能にするかを評価すること。
• ランダムラベルフィッティングから得られる悪意ある初期化が、標準的な画像分類ベンチマークでテスト性能を低下させるかどうかを検証すること。

提案手法

• 訓練セットのラベルをランダムにシャッフルして学習したモデルから、悪意ある初期化を構築する。
• これらの悪意あるモデルを初期値として用い、正しくラベル付けされたデータでSGDを実行し、グローバルミニマへの収束を評価する。
• 収束後の訓練精度とテスト精度を測定し、一般化性能を評価する。
• ランダム初期化と比較して、悪意ある初期化からのモデルのテスト精度を比較する。
• データ拡張やその他の正則化ヒューリスティクスを適用し、悪い解からの脱出に与える影響を評価する。
• CIFAR-10、CINIC-10、および（制限付き）ImageNetで実験を行い、複数のデータセットで結果の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 標準的な画像分類データセットでSGDで訓練された過パラメータ化された深層ネットワークに、悪いグローバルミニマが存在するか？
• RQ2 ランダムラベルで学習したモデルからの初期化において、SGDがそのような悪い一般化性能の解に収束できるか？
• RQ3 データ拡張やその他の正則化手法を用いることで、SGDがこれらの悪い解から脱出できるか？
• RQ4 悪意ある初期化から開始した場合、ランダム初期化と比較してテスト精度はどの程度低下するか？
• RQ5 正則化を適用した場合、SGDの一般化性能は初期化の選択に敏感か？

主な発見

• 深層ニューラルネットワークに悪いグローバルミニマが存在し、モデルはゼロの訓練誤差を達成するが一般化性能が著しく劣る。
• ランダムラベルで学習したモデルからの初期化により、SGDはこれらの悪いグローバルミニマに素早く収束する。
• CIFAR-10、CINIC-10、および（制限付き）ImageNetにおいて、悪意ある初期化によりテスト精度がランダム初期化と比較して最大40%低下する。
• データ拡張やその他の正則化ヒューリスティクスを用いることで、一般化性能が回復し、効果的にSGDが悪い解から脱出可能になる。
• 正則化はSGDが悪い解から脱出するための道筋を提供し、最終的なモデル性能を初期化の選択に依存させない堅牢性をもたらす。