[論文レビュー] Demystifying Learning Rate Policies for High Accuracy Training of Deep Neural Networks

Yanzhao Wu, Ling Liu+7 more|arXiv (Cornell University)|Aug 18, 2019

Machine Learning and Data Classification参考文献 28被引用数 14

ひとこと要約

本論文では、深層ニューラルネットワーク（DNN）の学習率（LR）ポリシーの評価と最適化を支援するベンチマーキングシステム「LRBench」を提案する。分類の信頼性、ばらつき、コスト、耐性の指標を用いて13種類のLR関数を分析することで、高精度で効率的なLRスケジュールを同定し、Caffeなどのフレームワークにおける手動チューニングの負担を軽減する。

ABSTRACT

Learning Rate (LR) is an important hyper-parameter to tune for effective training of deep neural networks (DNNs). Even for the baseline of a constant learning rate, it is non-trivial to choose a good constant value for training a DNN. Dynamic learning rates involve multi-step tuning of LR values at various stages of the training process and offer high accuracy and fast convergence. However, they are much harder to tune. In this paper, we present a comprehensive study of 13 learning rate functions and their associated LR policies by examining their range parameters, step parameters, and value update parameters. We propose a set of metrics for evaluating and selecting LR policies, including the classification confidence, variance, cost, and robustness, and implement them in LRBench, an LR benchmarking system. LRBench can assist end-users and DNN developers to select good LR policies and avoid bad LR policies for training their DNNs. We tested LRBench on Caffe, an open source deep learning framework, to showcase the tuning optimization of LR policies. Evaluated through extensive experiments, we attempt to demystify the tuning of LR policies by identifying good LR policies with effective LR value ranges and step sizes for LR update schedules.

研究の動機と目的

• 深層ニューラルネットワーク（DNN）学習における13種類の学習率（LR）関数およびその関連ポリシーを体系的に評価・比較すること。
• ハイパーパrameterチューニングの高コストと難易度を軽減するため、LRポリシー選択を自動化するベンチマーキングシステムを提案すること。
• 試行錯誤によるチューニングに依存しないよう、データセットやDNNアーキテクチャに適合した有効なLR値の範囲と更新スケジュールを同定すること。
• 実証的評価に基づき、耐性があり高い性能を示すLRポリシーを推奨することで、学習の効率性とモデルの精度を向上させること。
• 過去のチューニング結果を保存・再利用することで、類似したデータセットやモデルに対するDNN学習タスク間での知識共有を可能にすること。

提案手法

• 固定、段階的減衰、指数関数的減衰、逆時間減衰、多項式、サイクル（TRI、TRI2、TRIEXP）、正弦波（SIN、SIN2、SINEXP）、コサイン減衰関数を含む13種類のLR関数の包括的特徴付けを提案する。
• LRポリシーを客観的に比較するための4つの評価指標（分類の信頼性、ばらつき、コスト、耐性）を導入する。
• 提案された指標を用いてLRポリシーの評価を自動化するオープンソースのベンチマーキングシステム「LRBench」を構築する。
• LeNet、CNN3、ResNetを用いたMNISTおよびCIFAR-10を対象に、体系的な実験設定を採用してLRポリシーの性能を評価する。
• メタデータと類似度に基づくランク付けを用いて、新しいデータセットやモデルに対して過去に検証済みのLRポリシーを推奨する。
• 指標を用いて低効果または不安定なLRポリシーを特定・除外することで、チューニングの効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 多様なDNNアーキテクチャとデータセットにおいて、どの学習率関数とパラメータ設定が最高のテスト精度を達成するか？
• RQ2 異なるLRポリシーのパラメータ（例：範囲、ステップサイズ、減衰率）は、学習収束性とモデルの耐性にどのように影響するか？
• RQ3 標準化された方法でLRポリシーの実用性、コスト、耐性を評価・比較するのに信頼性のある指標は何か？
• RQ4 LRBenchのようなベンチマーキングシステムは、手動チューニングの負担を軽減しつつ、学習の成果を改善できるか？
• RQ5 類似したデータセットやモデルアーキテクチャ間で、LRポリシーの推奨はどの程度効果的に伝達可能か？

主な発見

• LRBenchは、複数のデータセットとモデルにおいて、デフォルト値や不適切にチューニングされたスケジュールと比較して顕著に高いテスト精度を達成する高パフォーマンスなLRポリシーを同定した。
• コサイン減衰（COS）およびトライアングル2（TRI2）ポリシーは、分類の信頼性が高く、ばらつきが小さいため、さまざまな学習シナリオにおいて耐性のある選択肢である。
• 初期学習率が大きく、適応的減衰を備えたポリシー（例：CLRファミリーのTRI2、SIN2など）は優れた性能を示し、スーパーコンバージェンスの概念を裏付ける。
• 本研究では、特にステップサイズや減衰率の不適切な設定が、よく知られたLR関数であっても高いばらつきと収束不良を引き起こす可能性があることが明らかになった。
• ベンチマーキングシステムにより、データセットやモデルの類似度に基づいて過去に検証済みのポリシーを推奨することで、手動チューニングのコストが削減され、学習のセットアップが迅速化された。
• 提案された指標（信頼性、ばらつき、コスト、耐性）は、高品質と低品質のLRポリシーを効果的に区別でき、信頼性のあるポリシー選定を可能にした。