[論文レビュー] A Simple Dynamic Learning Rate Tuning Algorithm For Automated Training of DNNs

Koyel Mukherjee, Alind Khare+1 more|arXiv (Cornell University)|Oct 25, 2019

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

本論文は、現在の訓練損失を観測済みの最良損失と比較することで、学習率を動的に調整する、ハイパーパrameterを必要としない、適応的学習率アルゴリズムAALRを提案する。この手法により、モデルやデータセットに依存しない自動的かつ普遍的な最適化が可能となり、ハイパーパrameterチューニングや計算コストの増加なしに、自然学習および敵対的学習の両方で最先端の精度を達成する。

ABSTRACT

Training neural networks on image datasets generally require extensive experimentation to find the optimal learning rate regime. Especially, for the cases of adversarial training or for training a newly synthesized model, one would not know the best learning rate regime beforehand. We propose an automated algorithm for determining the learning rate trajectory, that works across datasets and models for both natural and adversarial training, without requiring any dataset/model specific tuning. It is a stand-alone, parameterless, adaptive approach with no computational overhead. We theoretically discuss the algorithm's convergence behavior. We empirically validate our algorithm extensively. Our results show that our proposed approach \\emph{consistently} achieves top-level accuracy compared to SOTA baselines in the literature in natural as well as adversarial training.

研究の動機と目的

• 深層ニューラルネットワークの訓練において、特に新しいモデルや敵対的学習の状況において、手動で行う必要のある時間のかかるハイパーパrameterチューニング（特に学習率の選定）の課題を解決すること。
• データセットやモデル固有のチューニングを必要とせず、多様なモデルやデータセットに普遍的に適用可能な、自動化された学習率スケジューリング手法を開発すること。
• リアルタイムの損失モニタリングに基づく動的学習率調整により、自然学習および敵対的学習における一般化性能を向上させること。
• グリッドサーチやランダムサーチ、あるいはAdamのような複雑な適応的最適化手法に依存することなく、それらと同等またはそれ以上の性能を維持・超過すること。

提案手法

• アルゴリズムは各ステップで訓練損失をモニタリングし、これまでに観測された最良の損失と比較する。
• 現在の損失が最良の損失を下回っている場合、損失関数の地形をさらに探索できるように学習率を増加させる。
• 現在の損失が最良の損失を下回っていない場合、発散を回避し、訓練を安定化させるために学習率を減少させる。
• 調整はハイパーパrameterや事前定義されたスケジュールを一切用いず、パラメータフリーかつ独立した手法である。
• 計算コストは非常に軽量であり、標準的な訓練に追加のオーバーヘッドを生じさせない。
• 鋭い極小値から脱出でき、損失関数の平坦な領域を探索するのに学習率を増加させることのアイデアにインspiredされている。

実験結果

リサーチクエスチョン

• RQ1 シンプルでハイパーパrameterを必要としない学習率適応戦略が、自然学習および敵対的学習の両方において、既存の適応的最適化手法（例：Adam や RMSProp）を上回ることができるか？
• RQ2 損失の比較に基づく動的学習率調整は、固定または事前定義されたスケジュールと比較して、一般化性能を向上させることができるか？
• RQ3 このような手法が、タスク固有のチューニングを一切必要とせず、多様なモデルやデータセットで最先端の性能を達成できるか？
• RQ4 最適な学習率領域が通常未知で非常に感受性が高い敵対的学習の文脈において、このアルゴリズムはどのように性能を発揮するか？
• RQ5 学習率適応が、深層学習の訓練における収束速度と安定性にどのような影響を与えるか？

主な発見

• FGSMホワイトボックス攻撃下でCIFAR-10においてAALRは、400エポックでWRN-28-10を用いて69.85%の敵対的テスト精度を達成し、SGDR（67.4%）およびCLR（68.93%）を大きく上回った。
• 自然学習においても、AALRはSOTAベースラインと同等またはそれ以上の性能を示し、Cutoutを用いたWRN-28-10では96.44%の精度を達成した（ベースライン96.92%）。
• 敵対的学習においては、他の手法と比較してより安定した収束と、収束の検出が速く、Adamは2つの自然学習ケースで崩壊したのとは対照的であった。
• SimpleNet-V1では、CIFAR-10におけるFGSM攻撃下で65.02%の敵対的精度を達成し、軽量モデルに対しても有効であることを示した。
• AALRは、すべての敵対的学習シナリオでAdamを上回り、FGSM攻撃下のWRN-34-10ではAdamが16.13%まで低下したのに対し、AALRはより優れた一般化性能を示した。
• このアルゴリズムは、ResNet、VGG、WideResNet、SimpleNetといった多様なモデルおよびCIFAR-10、CIFAR-100といった多様なデータセットにおいて、強力なロバストネスを示し、普遍性と信頼性を確認した。