[論文レビュー] Meta-LR-Schedule-Net: Learned LR Schedules that Scale and Generalize.

Jun Shu, Yanwen Zhu+3 more|arXiv (Cornell University)|Jul 29, 2020

Domain Adaptation and Few-Shot Learning参考文献 50被引用数 4

ひとこと要約

本稿では、訓練のダイナミクスから最適な学習率（LR）スケジュールを自己適応的に学習するメタラーナー、Meta-LR-Schedule-Netを提案する。これは微分可能で明示的な写像形式を用いており、バッチサイズ、アーキテクチャ、ImageNetのようなデータセットを含む多様な設定に一般化可能である。特に、データに汚染がある状況でも、過去の訓練履歴を活用することで一般化性能が向上し、手作業で設計されたスケジュールを上回る。

ABSTRACT

The learning rate (LR) is one of the most important hyper-parameters in stochastic gradient descent (SGD) for deep neural networks (DNNs) training and generalization. However, current hand-designed LR schedules need to manually pre-specify schedule as well as its extra hyper-parameters, which limits its ability to adapt non-convex optimization problems due to the significant variation of training dynamic. To address this issue, we propose a model capable of adaptively learning LR schedule from data. We specifically design a meta-learner with explicit mapping formulation to parameterize LR schedules, which can adjust LR adaptively to comply with current training dynamic by leveraging the information from past training histories. Image and text classification benchmark experiments substantiate the capability of our method for achieving proper LR schedules compared with baseline methods. Moreover, we transfer the learned LR schedule to other various tasks, like different training batch sizes, epochs, datasets, network architectures, especially large scale ImageNet dataset, showing its stronger generalization capability than related methods. Finally, guided by a small set of clean validation set, we show our method can achieve better generalization error when training data is biased with corrupted noise than baseline methods.

研究の動機と目的

• 非凸最適化における動的訓練プロセスへの適応性に欠ける手作業で設計された学習率（LR）スケジュールの限界を是正すること。
• 手動でのハイパーパrameterチューニングに依存しない、データ駆動型の方法を構築し、最適なLRスケジュールを自動で学習すること。
• 小さなクリーンな検証セットを用いて、汚染されたりバイアスがかかるサンプルを含む訓練データにおいても、頑健なLRスケジュールを学習することでモデルの一般化性能を向上させること。
• バッチサイズ、エポック数、データセット、ネットワークアーキテクチャの変更に対しても、学習済みのLRスケジュールの転送可能性を実現すること。
• 特に大規模なImageNetにおいて、ベースライン手法を上回る優れた性能を示すことを実証すること。

提案手法

• 過去の訓練履歴に依存する明示的な写像形式を用いて、LRスケジュールをパラメータライズするメタラーナーを設計する。
• 各訓練ステップにおける適応的LR値への、履歴的勾配および損失値の微分可能関数を学習する。
• 外側の最適化ループが検証性能に基づいてLRスケジュールポリシーを最適化する二段階最適化フレームワークを用いて、エンドツーエンドでモデルを訓練する。
• 訓練データがノイズを含んでも、小さなクリーンな検証セットを活用して一般化可能なLRスケジュールの学習を支援する。
• 異なるバッチサイズ、ネットワークの深さ、ImageNetのようなデータセットを含む多様な訓練設定に一般化できるようにモデルを訓練する。
• 再訓練なしに、学習済みのLRスケジュールを新しいタスクにゼロショット転送可能にする。

実験結果

リサーチクエスチョン

• RQ1 学習済みのLRスケジュールは、DNN最適化中の変化する訓練ダイナミクスに効果的に適応できるか？
• RQ2 メタラーニングされたLRスケジュールは、異なるバッチサイズ、ネットワークアーキテクチャ、データセットにわたってどれほど一般化できるか？
• RQ3 訓練データに汚染やバイアスがある状況でも、提案手法は一般化性能を向上させるか？
• RQ4 テスト精度と耐性の観点から、学習済みのLRスケジュールは手作業で設計されたスケジュールを上回るか？
• RQ5 小さなクリーンな検証セットが、効果的で転送可能なLRスケジュールの学習をどれほど効果的に導けるか？

主な発見

• Meta-LR-Schedule-Netは、訓練データにノイズが混入している場合でも、ImageNetにおいてベースライン手法よりも優れた一般化誤差を達成する。
• 学習済みのLRスケジュールは、異なるバッチサイズ、エポック数、ネットワークアーキテクチャといった多様な訓練設定に効果的に一般化される。
• 画像分類およびテキスト分類のベンチマークにおいて、標準的な手作業で設計されたスケジュールを上回り、優れた適応性を示す。
• 小さなクリーンな検証セットからの学習により、ImageNetにおけるテスト精度が向上し、データバイアスに対して強い頑健性を示す。
• メタラーナーは複雑な訓練ダイナミクスを効果的に捉え、それに応じてLRを調整でき、収束が速く最終的な性能も向上する。
• 本手法により、新しいタスクへのLRスケジュールのゼロショット転送が可能となり、ハイパーパrameterチューニングの必要性が低減される。