[論文レビュー] At Stability's Edge: How to Adjust Hyperparameters to Preserve Minima Selection in Asynchronous Training of Neural Networks?

Niv Giladi, Mor Shpigel Nacson+2 more|arXiv (Cornell University)|Apr 30, 2020

Stochastic Gradient Optimization Techniques参考文献 28被引用数 5

ひとこと要約

本論文は、学習遅延に応じて学習率とモーメンタムを調整することによって、非同期確率的勾配降下法（ASGD）における極小値選択を維持する理論的枠組みを提案する。閉形式のルールを導出し、高遅延の場合、同じ極小値の集合に到達可能であるようにするために、学習率を遅延に反比例させる必要があることを示している。また、安定性を高めるために、モーメンタムを無効化するか、変更することを推奨する。

ABSTRACT

Background: Recent developments have made it possible to accelerate neural networks training significantly using large batch sizes and data parallelism. Training in an asynchronous fashion, where delay occurs, can make training even more scalable. However, asynchronous training has its pitfalls, mainly a degradation in generalization, even after convergence of the algorithm. This gap remains not well understood, as theoretical analysis so far mainly focused on the convergence rate of asynchronous methods. Contributions: We examine asynchronous training from the perspective of dynamical stability. We find that the degree of delay interacts with the learning rate, to change the set of minima accessible by an asynchronous stochastic gradient descent algorithm. We derive closed-form rules on how the learning rate could be changed, while keeping the accessible set the same. Specifically, for high delay values, we find that the learning rate should be kept inversely proportional to the delay. We then extend this analysis to include momentum. We find momentum should be either turned off, or modified to improve training stability. We provide empirical experiments to validate our theoretical findings.

研究の動機と目的

• 非同期学習が収束すれども一般化性能が劣化する理由を理解すること。
• 遅延と学習率がASGDの到達可能な極小値の集合に与える影響を調査すること。
• さまざまな遅延条件下でも同じ極小値選択を維持するための理論的ルールを開発すること。
• モーメンタムを含めた分析を拡張し、非同期環境下でのトレーニング安定性に与える影響を特定すること。

提案手法

• 遅延が勾配更新に与える影響をモデル化することで、力学的安定性の観点から非同期学習を分析する。
• 極小値の到達可能な集合を維持するため、学習率が遅延に反比例する必要があることを示す閉形式の関係を導出する。
• モーメンタムを含めた分析を拡張し、モーメンタムがトレーニングを不安定化させる条件を同定する。
• 高遅延下での安定性を向上させるために、修正されたモーメンタムスケジュールの提案、またはその無効化を提案する。
• さまざまな遅延および学習率設定下でのニューラルネットワーク学習において、理論的予測を実験的に検証する。

実験結果

リサーチクエスチョン

• RQ1 非同期学習における遅延は、確率的勾配降下法が到達可能な極小値の集合にどのように影響するか？
• RQ2 増加する遅延下でも同じ極小値選択を維持するための学習率調整ルールは何か？
• RQ3 モーメンタムは非同期環境下でのトレーニング安定性にどのように影響し、いつ修正または無効化すべきか？
• RQ4 遅延に伴う学習率スケーリングに関する理論的予測は、ニューラルネットワーク学習において実証的に検証可能か？

主な発見

• 非同期学習において、同じ極小値の集合に到達可能であるようにするためには、学習率を遅延に反比例させる必要がある。
• 高遅延値の場合、学習率と遅延の反比例関係を維持することで、安定した極小値選択が保証される。
• 高遅延非同期学習における不安定化を防ぐために、モーメンタムを無効化するか、変更する必要がある。
• 実験結果から、提案された学習率スケーリングルールが、さまざまな遅延レベル下でも一般化性能を維持していることが確認された。