[論文レビュー] AdaS: Adaptive Scheduling of Stochastic Gradients

Mahdi S. Hosseini, Konstantinos N. Plataniotis|arXiv (Cornell University)|Jun 11, 2020

Stochastic Gradient Optimization Techniques参考文献 29被引用数 10

ひとこと要約

AdaSは、畳み込み層重みの低ランク因子分解から導出される「知識獲得量」という指標に基づき、学習率の変動率に応じて動的に学習率を調整する、確率的勾配降下法（SGD）のための適応的学習率スケジューリング手法を提案する。知識獲得量とマッピング条件を各層でモニタリングすることで、交差検証用データセットを必要とせずに、Adamなどの適応的最適化手法よりも高速な収束と優れた一般化性能を達成する。

ABSTRACT

The choice of step-size used in Stochastic Gradient Descent (SGD) optimization is empirically selected in most training procedures. Moreover, the use of scheduled learning techniques such as Step-Decaying, Cyclical-Learning, and Warmup to tune the step-size requires extensive practical experience--offering limited insight into how the parameters update--and is not consistent across applications. This work attempts to answer a question of interest to both researchers and practitioners, namely extit{"how much knowledge is gained in iterative training of deep neural networks?"} Answering this question introduces two useful metrics derived from the singular values of the low-rank factorization of convolution layers in deep neural networks. We introduce the notions of extit{"knowledge gain"} and extit{"mapping condition"} and propose a new algorithm called Adaptive Scheduling (AdaS) that utilizes these derived metrics to adapt the SGD learning rate proportionally to the rate of change in knowledge gain over successive iterations. Experimentation reveals that, using the derived metrics, AdaS exhibits: (a) faster convergence and superior generalization over existing adaptive learning methods; and (b) lack of dependence on a validation set to determine when to stop training. Code is available at \url{https://github.com/mahdihosseini/AdaS}.

研究の動機と目的

• 固定またはスケジュールされた学習率を用いるSGDにおける限界を解消すること。これは、しばしば収束性と一般化性能の低下を引き起こす。
• 個々の畳み込み層内の学習の質を定量化する新しい指標、すなわち「知識獲得量」と「マッピング条件」を導入すること。
• 交差検証データに依存せずに、収束速度と一般化性能を向上させる適応的学習率スケジューリングフレームワークを構築すること。
• 手動によるハイパーパrameterチューニングへの依存を減らし、自動的かつ層固有の学習率の適応を可能にすること。

提案手法

• 畳み込み層の重み行列の低ランク因子分解を計算し、特異値を抽出することで、「知識獲得量」指標を導出する。これは、ネットワーク内での情報蓄積の速度を表す。
• 「マッピング条件」は、因子分解における最大特異値と最小特異値の比として定義され、層の入力-出力変換の条件数を示す。
• 反復処理における知識獲得量の変化率に応じて学習率を適応的にスケジューリングし、知識獲得量の増加が著しい場合には大きな更新を実行する。
• 各畳み込みブロックごとに独立して学習率スケジューリングを適用することで、層固有の学習ダイナミクスに細かく適応できる。
• 知識獲得量とマッピング条件を訓練中を通してモニタリングし、学習率の調整と訓練終了の判断に活用する。
• SGDにモーメンタムを組み合わせることも可能で、Adamなどの既存の適応的最適化手法と統合することで、さらなるロバストネスを向上させることができる。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークの反復的学習中に蓄積される知識量をどのように定量化できるか？
• RQ2 重み変換の条件数（マッピング条件）は、一般化性能と収束性にどのような役割を果たすか？
• RQ3 知識獲得量に基づく学習率スケジューリングは、固定またはヒューリスティックなスケジューリングと比較して、収束速度とテスト性能を向上させられるか？
• RQ4 内在的な訓練指標を用いることで、交差検証用データセットを必要としない早期停止を実現できるか？
• RQ5 層固有の知識獲得量に基づく適応的学習率スケジューリングは、異なる最適化手法において一般化性能にどのように影響を与えるか？

主な発見

• AdaSは、ResNet-18を用いてCIFAR-10で95.16%のテスト精度を達成し、Adam（93.22%）と周期的学習率を用いたSGD（94.13%）を上回った。
• AdaSは訓練損失を8.69e-4まで低下させ、Adam（5.66e-3）とRMSProp（6.35e-3）よりも顕著に低く抑え、収束が速いことを示した。
• β=0.95の設定でAdaSの知識獲得量は0.2938に達したが、これはAdam（0.2973）とRMSProp（0.3011）よりも高い情報蓄積を示しており、より効果的な学習であることを示している。
• AdaSにおけるマッピング条件κは、すべての設定で9未満を維持した。これは、Adam（18.484）よりも良好に条件付けられた層変換であることを示し、一般化性能の向上と相関している。
• AdaSは交差検証用データセットを必要とせず、導出された指標に基づいて訓練損失から直接訓練終了を決定したため、一般化性能に優れた結果を達成した。
• 本手法は初期学習率の選択に対してロバストであり、Adamなどの適応的最適化手法と組み合わせることでさらなる性能向上が得られた。