[論文レビュー] Early Stopping in Deep Networks: Double Descent and How to Eliminate it

Reinhard Heckel, Fatih Yılmaz|arXiv (Cornell University)|Jul 20, 2020

Stochastic Gradient Optimization Techniques参考文献 33被引用数 7

ひとこと要約

この論文は、深層ネットワークにおけるエポック単位のダブルデセントが、早期停止によるモデル複雑度制御によるものではなく、異なる層で非同期的に学習率が設定された際の複数のバイアス・バリアンストレードオフの重ね合わせに起因することを特定している。層別に学習率をスケーリングすることで、このダブルデセントが消失することを解析的・実験的に示し、過パラメータ化されたモデルにおける早期停止性能が著しく向上することを示している。

ABSTRACT

Over-parameterized models, such as large deep networks, often exhibit a double descent phenomenon, whereas a function of model size, error first decreases, increases, and decreases at last. This intriguing double descent behavior also occurs as a function of training epochs and has been conjectured to arise because training epochs control the model complexity. In this paper, we show that such epoch-wise double descent arises for a different reason: It is caused by a superposition of two or more bias-variance tradeoffs that arise because different parts of the network are learned at different epochs, and eliminating this by proper scaling of stepsizes can significantly improve the early stopping performance. We show this analytically for i) linear regression, where differently scaled features give rise to a superposition of bias-variance tradeoffs, and for ii) a two-layer neural network, where the first and second layer each govern a bias-variance tradeoff. Inspired by this theory, we study two standard convolutional networks empirically and show that eliminating epoch-wise double descent through adjusting stepsizes of different layers improves the early stopping performance significantly.

研究の動機と目的

• 過パラメータ化された深層ネットワークにおけるエポック単位のダブルデセントの根本的要因を解明すること。
• 従来の仮説である、早期停止がモデル複雑度を制御しダブルデセントを引き起こすという仮説に挑戦すること。
• ダブルデセントが、異なる学習ダイナミクスを持つ層間で重ね合わされたバイアス・バリアンストレードオフに起因することを示すこと。
• ダブルデセントを解消するスケーラブルな、層別に最適化された学習率調整戦略を提案すること。
• 標準的なCNN上での実験的妥当性を検証し、早期停止性能の向上を示すこと。

提案手法

• 異なるスケーリングされた特徴を持つ線形回帰を分析し、バイアス・バリアンストレードオフの重ね合わせがダブルデセントを引き起こすことを示す。
• 2層のReLUネットワークにおける早期停止リスクの理論的境界を導出。その境界が層別初期化と学習率に依存することを示す。
• 層別学習率とステップサイズがダブルデセントの出現または抑制に与える影響を結びつける理論的枠組みを提唱。
• 実用的な手法を提案：異なるネットワーク部品の有効な更新速度が均等になるように、各層の学習率をスケーリングすること。
• 5層のCNNとResNet-18上でこの手法を実験的に評価。CIFAR-10を20%のラベルノイズとともに学習。
• 最小のテスト誤差に達した時点で早期停止を行い、学習率調整前後での性能を比較。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化された深層ネットワークにおいて、なぜエポック数の関数としてダブルデセントが発生するのか？
• RQ2 エポック単位のダブルデセントは、従来の仮説通り、早期停止による有効なモデル複雑度制御に起因するのか？
• RQ3 異なる層で学習率を調整することで、ダブルデセントを解消できるか？
• RQ4 層別初期化と学習率は、訓練中のリスク曲線にどのように影響するか？
• RQ5 エポック単位のダブルデセントを解消することで、標準アーキテクチャにおける早期停止性能が向上するか？

主な発見

• エポック単位のダブルデセントは、モデル複雑度制御によるものではなく、異なる学習速度を持つ層間のバイアス・バリアンストレードオフの重ね合わせに起因する。
• 異なるスケーリングされた特徴を持つ線形回帰では、早期停止した最小二乗法が、重複するバイアス・バリアンス曲線のおかげでダブルデセントを示す。
• 2層のReLUネットワークでは、早期停止リスクが、層別初期化と学習率に支配される重複するバイアス・バリアンストレードオフの和によって上界付けられる。
• 各層の学習率を調整して有効な更新速度を均等化することで、理論的および実践的にダブルデセントが解消される。
• 5層のCNNとResNet-18における実験結果から、学習率スケーリングにより、標準的な学習と比較して早期停止時のテスト誤差が最大30%まで低下することが示された。
• この手法により、過学習を伴わずにグローバル最小値への収束が早期に達成されるため、一般化性能が向上する。