[論文レビュー] Robust Learning Rate Selection for Stochastic Optimization via Splitting Diagnostic

Matteo Sordello, Dalmasso, Niccolò+2 more|arXiv (Cornell University)|Oct 18, 2019

Stochastic Gradient Optimization Techniques参考文献 31被引用数 7

ひとこと要約

本稿では、ステーションナリティを新しい分割診断法により検出することで、局所的最小値付近で反復がゆらぎ始めることを検知し、追加の計算コストなしに学習率を動的に低下させる、ロバストな学習率スケジューリング手法であるSplitSGDを提案する。2つの独立したSGDスレッドの勾配を比較することで、反復が局所的最小値付近で揺れていることを特定し、学習率を調整する。この手法は、Adam や標準的なSGDと比較して、特に深層ニューラルネットワークのような非凸設定において、収束性と一般化性能に優れる。

ABSTRACT

This paper proposes SplitSGD, a new dynamic learning rate schedule for stochastic optimization. This method decreases the learning rate for better adaptation to the local geometry of the objective function whenever a stationary phase is detected, that is, the iterates are likely to bounce at around a vicinity of a local minimum. The detection is performed by splitting the single thread into two and using the inner product of the gradients from the two threads as a measure of stationarity. Owing to this simple yet provably valid stationarity detection, SplitSGD is easy-to-implement and essentially does not incur additional computational cost than standard SGD. Through a series of extensive experiments, we show that this method is appropriate for both convex problems and training (non-convex) neural networks, with performance compared favorably to other stochastic optimization methods. Importantly, this method is observed to be very robust with a set of default parameters for a wide range of problems and, moreover, can yield better generalization performance than other adaptive gradient methods such as Adam.

研究の動機と目的

• 確率的最適化における最適な学習率の選択という課題に取り組み、収束性と一般化性能に大きな影響を与える。
• ハイパーパrameter選択に敏感な固定またはヒューリスティックな学習率スケジュールの限界を克服する。
• 自動的にステーショナリティフェーズ（局所的最小値付近）を検出し、それに応じて学習率を適応的に調整する手法を開発する。
• 凸および非凸の目的関数を含む多様な問題に対してロバスト性を確保し、最小限のチューニングで運用可能である。
• 特に深層学習設定において、Adam などの適応的メソッドと比較して一般化性能を向上させる。

提案手法

• SplitSGDは、同じ初期パラメータ値から出発し、異なるランダムなデータサンプルを用いて2つの独立したSGDスレッドを実行する。
• 定期的な間隔で、2つのスレッドの平均勾配間の内積（勾配整合性）を計算し、ステーショナリティを評価する。
• 複数のウィンドウにわたる内積の符号が負である割合に基づく仮説検定により、システムがステーショナリティフェーズにあるかどうかを判断する。
• 負の内積の割合が閾値 $ q $ を超える場合、システムはステーショナリティに達していると判断し、学習率を固定された要因で低下させる。
• 統計的信頼性を高めるために、$ l $ 回の反復をカバーするスライディングウィンドウと、複数の診断ウィンドウ $ w $ を使用する。
• 学習率の減衰は、ステーショナリティが検出された場合にのみ発動され、非ステーショナリティフェーズでは完全な勾配更新が維持される。

実験結果

リサーチクエスチョン

• RQ1 シンプルで低コストな診断メカニズムは、確率的最適化が局所的最小値付近のステーショナリティフェーズに入ったことを信頼性高く検出できるか？
• RQ2 提案手法の分割診断は、既存のステーショナリティ検出法と比較して、正確性とタイミングの面で優れているか？
• RQ3 ステーショナリティ検出に基づく動的学習率低下は、凸問題および非凸問題の両方で、より速い収束性とより良い一般化性能をもたらすか？
• RQ4 SplitSGDは、多様な最適化タスクにおいて初期学習率の選択に対してどれほどロバストか？
• RQ5 SplitSGDは、広範なハイパーパrameterチューニングを必要とせずに、Adam などの適応的メソッドを深層学習ベンチマークで上回ることができるか？

主な発見

• SplitSGDは、2つの独立したSGDスレッド間の勾配整合性の符号のみを用いて、追加計算コストなしに高精度でステーショナリティを検出できる。
• 凸問題およびCIFAR-10でVGG19を訓練する非凸設定において、Adam や標準的なSGDと比較して、収束性と一般化性能に優れた結果を達成した。
• VGG19の実験では、手動でチューニングされたSGDと同等のテスト精度を達成したが、反復回数を少なくした。これは、より高いサンプル効率を示している。
• SplitSGDは初期学習率の選択に対してロバストであり、微調整を必要とせず、広範な設定で優れた性能を維持した。
• Pflug診断法と比較して、特に最適解から離れた初期状態から開始した場合に、SplitSGDの分割診断はより早くかつ正確にステーショナリティを検出できた。
• 学習率の低下は、平均化による精度のスパイクの後に明確なパターンで発生し、小さなステップサイズによる滑らかさが得られ、局所幾何構造への適応が効果的であることが示された。