[論文レビュー] Selecting and Composing Learning Rate Policies for Deep Neural Networks

Yanzhao Wu, Ling Liu|arXiv (Cornell University)|Oct 24, 2022

Machine Learning and Data Classification被引用数 5

ひとこと要約

本論文は、動的チューニング機構と、LRBenchと呼ばれる推薦システムを用いて、深層ニューラルネットワーク（DNN）の最適な学習率（LR）ポリシーの選択および構成のための体系的アプローチを提案する。これにより、目的の精度とトレーニング時間制約に対してLRポリシーを自動で検証可能となり、従来のデフォルトポリシーを上回り、トレーニング時間を1.6–6.7倍短縮しながら、多様なDNNモデルおよびデータセットで高いテスト精度を達成する。

ABSTRACT

The choice of learning rate (LR) functions and policies has evolved from a simple fixed LR to the decaying LR and the cyclic LR, aiming to improve the accuracy and reduce the training time of Deep Neural Networks (DNNs). This paper presents a systematic approach to selecting and composing an LR policy for effective DNN training to meet desired target accuracy and reduce training time within the pre-defined training iterations. It makes three original contributions. First, we develop an LR tuning mechanism for auto-verification of a given LR policy with respect to the desired accuracy goal under the pre-defined training time constraint. Second, we develop an LR policy recommendation system (LRBench) to select and compose good LR policies from the same and/or different LR functions through dynamic tuning, and avoid bad choices, for a given learning task, DNN model and dataset. Third, we extend LRBench by supporting different DNN optimizers and show the significant mutual impact of different LR policies and different optimizers. Evaluated using popular benchmark datasets and different DNN models (LeNet, CNN3, ResNet), we show that our approach can effectively deliver high DNN test accuracy, outperform the existing recommended default LR policies, and reduce the DNN training time by 1.6$\sim$6.7$ imes$ to meet a targeted model accuracy.

研究の動機と目的

• 固定されたトレーニング時間と目標精度制約の下で、深層ニューラルネットワーク（DNN）の有効な学習率（LR）ポリシーを選択する課題に対処すること。
• 時間のかかる手作業による試行錯誤によるLRチューニングの限界を克服し、最適でない選択が生じるのを防ぐこと。
• 多様なDNNモデル、データセット、最適化手法に対応する高パフォーマンスなLRポリシーの推奨および組み合わせを可能にする体系的フレームワークの開発。
• 異なるLRポリシーと最適化手法がDNNトレーニングの効率性およびモデル精度に与える相互影響を調査すること。
• デフォルトまたはヒューリスティックな設定に依存するのを減らすために、自動的かつスケーラブルなLR関数のハイパーパramータチューニングソリューションの提供。

提案手法

• 事前に定義された精度およびトレーニング時間の目標に対してLRポリシーを自動検証する動的LRチューニング機構を設計。
• LRBenchを実装し、固定、減衰、サイクルなど複数のLR関数からなるLRポリシーを動的パrameterチューニングを用いて選択・組み合わせる推薦システムを構築。
• 異なるLR関数（例：固定 + 減衰）を組み合わせることで、トレーニング効率を向上させる、多様なLRポリシーの組み合わせをサポート。
• Ray Tuneなどの既存のハイパーパramータチューニングフレームワークと統合し、LR空間における分散かつ効率的な探索を可能にする。
• 異なる最適化手法（例：Adam、SGD）がLRポリシーの有効性に与える影響を評価し、顕著な相互依存関係が存在することを明らかにする。
• 標準データセット（例：CIFAR-10、MNIST）およびモデル（例：LeNet、ResNet）を対象とした体系的なベンチマークパイプラインを用いて、ポリシー性能の妥当性を検証。

実験結果

リサーチクエスチョン

• RQ1 DNNトレーニングにおいて、目標精度およびトレーニング時間制約を満たすために、学習率ポリシーを体系的に選択・構成する方法は何か？
• RQ2 1つのポリシー内で異なるLR関数（例：固定、減衰、サイクル）を組み合わせることの、モデル収束性および精度に与える影響は何か？
• RQ3 異なる最適化手法（例：Adam、SGD）とさまざまなLRポリシーとの間にはどのような相互作用があり、それがトレーニング効率およびモデルパフォーマンスにどのように影響するか？
• RQ4 LRBenchのような推薦システムは、ディープラーニングフレームワークが提供するデフォルトのLRポリシーを上回り、精度およびトレーニング速度の面で優れていると期待できるか？
• RQ5 自動化されたLRポリシーチューニングは、DNNトレーニングにおける手動によるハイパーパramータチューニングの必要性をどの程度低減できるか？

主な発見

• 提案されたLRチューニング機構は、目標精度およびトレーニング時間制約に対してLRポリシーを効果的に検証でき、ポリシー品質の自動検証を可能にした。
• LRBenchは、主要なディープラーニングフレームワーク（例：TensorFlow、Caffe、PyTorch）が提供するデフォルトのLRポリシーを上回り、ベンチマークデータセットで高いテスト精度を達成した。
• LeNet、CNN3、ResNetモデルの全般にわたり、デフォルトポリシーと比較してトレーニング時間を1.6×から6.7×短縮しながら、モデル精度を維持または向上させた。
• 複合LRポリシー（複数のLR関数を組み合わせたもの）は優れたパフォーマンスを示し、単一関数ポリシーに比べて、多様な組み合わせがより効果的であることがわかった。
• LRポリシーと最適化手法の間に顕著な相互影響が存在する：同じLRポリシーでも、AdamやSGDといった異なる最適化手法では異なる性能を示すため、両者を併せて検討する必要がある。
• 本フレームワークは、多様なデータセット（例：MNIST、CIFAR-10）およびDNNアーキテクチャに一般化可能であり、実世界のトレーニングシナリオにおける広範な適用可能性を確認した。