[論文レビュー] Statistically Significant Stopping of Neural Network Training

Justin K. Terry, Mario Jayakumar+1 more|arXiv (Cornell University)|Mar 1, 2021

Machine Learning and Data Classification参考文献 14被引用数 4

ひとこと要約

本論文は、性能向上が著しくなくなると自動的にニューラルネットワークの学習を停止する統計的根拠に基づく早期停止基準、拡張シャピロ・ウィルク停止（ASWS）を提案する。検証精度の変化の正規性をテストすることで、最良の性能を示す手法と同等の最終的精度を達成しながら、77%以下のエポックで停止し、精度の損失を最小限に抑えつつ、学習時間と計算コストを削減する。

ABSTRACT

The general approach taken when training deep learning classifiers is to save the parameters after every few iterations, train until either a human observer or a simple metric-based heuristic decides the network isn't learning anymore, and then backtrack and pick the saved parameters with the best validation accuracy. Simple methods are used to determine if a neural network isn't learning anymore because, as long as it's well after the optimal values are found, the condition doesn't impact the final accuracy of the model. However from a runtime perspective, this is of great significance to the many cases where numerous neural networks are trained simultaneously (e.g. hyper-parameter tuning). Motivated by this, we introduce a statistical significance test to determine if a neural network has stopped learning. This stopping criterion appears to represent a happy medium compared to other popular stopping criterions, achieving comparable accuracy to the criterions that achieve the highest final accuracies in 77% or fewer epochs, while the criterions which stop sooner do so with an appreciable loss to final accuracy. Additionally, we use this as the basis of a new learning rate scheduler, removing the need to manually choose learning rate schedules and acting as a quasi-line search, achieving superior or comparable empirical performance to existing methods.

研究の動機と目的

• 過学習を回避し、計算リソースの無駄を減らす、原則的で自動化されたニューラルネットワーク学習停止手法を開発すること。
• 大規模なハイパーパrameter探索やAutoMLパイプラインにおけるヒューリスティックベースの早期停止の非効率性を是正すること。
• 手動でのハイパーパrameterチューニングを不要にする、ASWS停止基準に基づく学習率スケジューラーの開発。
• 将来の研究における学習ダイナミクスと停止基準の研究のための再利用可能な100件のニューラルネットワーク学習実行データセットの提供。

提案手法

• 検証精度の差分の分布における正規性をテストする、拡張シャピロ・ウィルク停止（ASWS）基準を提案する。
• 統計的仮説検定を用いて、さらなる学習が意味のある性能向上をもたらす可能性があるかどうかを判断する。
• 初期学習段階におけるノイズやばらつきを考慮するため、スラックパラメータを導入した修正シャピロ・ウィルク検定を適用する。
• ASWS停止信号に基づいて動的に調整される新しい学習率スケジューラーを導入し、準ラインサーチの役割を果たす。
• 実時間での意思決定を可能にするために、最近の検証精度値のスライディングウインドウを用いて検定統計量を計算する。
• 感度と耐性のバランスを図るため、スラックパラメータ（slackProp）をチューニングする。

実験結果

リサーチクエスチョン

• RQ1 検証精度の変化に対する統計的有意性検定は、ニューラルネットワーク学習における最適停止点を信頼性高く特定できるか？
• RQ2 ASWSは、ヒューリスティックベースの早期停止手法と比較して、最終的精度と学習期間においてどのように異なるか？
• RQ3 ASWSの停止信号は、手動チューニングを伴わずに学習率スケジューラーを効果的に制御できるか？
• RQ4 提案手法は、ハイパーパラメータ探索およびAutoMLワークフローにおける計算コストをどの程度削減できるか？
• RQ5 学習の後期段階において、検証精度差分の正規性仮定は妥当か？

主な発見

• ASWSは、最良の性能を示す停止基準と比較して、77%以下のエポックで学習を停止する。最終的精度の損失は最小限である。
• 本手法は、最先端の停止基準と同等の最終的精度を達成しながら、学習時間を最大23%短縮する。
• ASWSに基づく学習率スケジューラーは、ResNet101およびGoogLeNetにおいて、従来のスケジューラー（CyclicLRやStepLR）と同等またはそれ以上の収束速度と最終的精度を達成する。
• CIFAR10で10モデル、ImageNetで10モデルを用いた100件の学習セッションからなる本手法のデータセットは、将来的な学習ダイナミクスおよび停止基準に関する研究のための貴重なベンチマークを提供する。
• 正規性検定における理論的制限にもかかわらず、ASWSの実験的性能は、自動学習終了の強力な実用的有用性を示唆している。
• スラックパラメータ（slackProp）は性能に顕著な影響を与えるため、最適な結果を得るにはこのパラメータのチューニングが不可欠である。