[論文レビュー] Dropout Reduces Underfitting

Zhuang Liu, Zhiqiu Xu+3 more|arXiv (Cornell University)|Mar 2, 2023

Machine Learning and Data Classification被引用数 16

ひとこと要約

本論文は、学習初期段階で dropout を適用する early dropout が勾配方向の分散と最終的な学習損失を低減し、アンダーフィットモデルの性能を改善する一方、対称的な late dropout がオーバーフィットしたモデルの汎化を向上させることを示している。

ABSTRACT

Introduced by Hinton et al. in 2012, dropout has stood the test of time as a regularizer for preventing overfitting in neural networks. In this study, we demonstrate that dropout can also mitigate underfitting when used at the start of training. During the early phase, we find dropout reduces the directional variance of gradients across mini-batches and helps align the mini-batch gradients with the entire dataset's gradient. This helps counteract the stochasticity of SGD and limit the influence of individual batches on model training. Our findings lead us to a solution for improving performance in underfitting models - early dropout: dropout is applied only during the initial phases of training, and turned off afterwards. Models equipped with early dropout achieve lower final training loss compared to their counterparts without dropout. Additionally, we explore a symmetric technique for regularizing overfitting models - late dropout, where dropout is not used in the early iterations and is only activated later in training. Experiments on ImageNet and various vision tasks demonstrate that our methods consistently improve generalization accuracy. Our results encourage more research on understanding regularization in deep learning and our methods can be useful tools for future neural network training, especially in the era of large data. Code is available at https://github.com/facebookresearch/dropout.

研究の動機と目的

• 大規模データスケールによるアンダーフィット領域における正則化としての dropout の再検討を促す。
• 勾配ノルム、勾配方向の分散、勾配方向誤差に焦点を当て、 dropout の学習ダイナミクスを調査する。
• Vision Transformers および vision モデルに対して、ImageNet および下流タスクで early dropout および late dropout の戦略を提案・評価する。
• 初期または後期の訓練段階で戦略的に dropout を適用することで、訓練損失と汎化の改善を示す。

提案手法

• 初期段階の訓練における dropout の効果を理解するために、勾配ノルム、勾配方向の分散、勾配方向誤差を分析する。
• 二つのレジームからなる正則化手法として early dropout と late dropout を導入・形式化する。
• ImageNet-1K および下流タスクを用いて、ViT および CNN-derivative アーキテクチャに対する dropout、stochastic depth、および early/late バリアントを評価する。
• 標準 dropout、stochastic depth、early/late dropout を、複数のモデルファミリ（ViT、Swin、ConvNeXt）と最適化手法に渡って比較する。
• robustness を評価するために、dropout エポック、dropout レート、スケジューリング戦略、バッチサイズに関するアブレーション研究を提供する。

実験結果

リサーチクエスチョン

• RQ1 訓練開始時に適用する dropout（early dropout）でアンダーフィットを低減できるか？
• RQ2 early dropout は勾配特性と全データセット勾配との差の整合性にどのような影響を与えるか？
• RQ3 対称的な late dropout 戦略はオーバーフィットモデルの汎化を改善するか？
• RQ4 アーキテクチャ、最適化手法、データセット規模を横断して early dropout および late dropout は頑健か？

主な発見

• Early dropout は最終訓練損失を低下させ、アンダーフィットモデルの精度を改善できる。
• Dropout in early training は勾配方向の分散と勾配方向誤差を低減し、ミニバッチ勾配を全データセット勾配と一致させる。
• Late dropout はオーバーフィットモデルの汎化を改善し、時には訓練損失を増加させる一方でテスト精度を向上させる。
• 最適な dropout の挙動はモデルサイズとデータスケールに依存する。小さなモデルや大規模データセットでは dropout が不要になるか、むしろ害になる場合がある。
• Across models and tasks, early dropout and stochastic depth consistently improve performance over standard dropout and no-dropout baselines on ImageNet-1K and downstream tasks.