[論文レビュー] Exploring loss function topology with cyclical learning rates

Leslie N. Smith, Nicholay Topin|arXiv (Cornell University)|Feb 14, 2017

Machine Learning and Algorithms参考文献 4被引用数 17

ひとこと要約

本稿は、周期的学習率（CLR）と線形ネットワーク補間を用いて、ニューラルネットワークの損失関数のトポロジーを調査し、テスト損失と精度が同時に上昇するなど予想に反する挙動や、通常の学習より少ないイテレーションで高いテスト精度を達成する『スーパー・コンバージェンス』を明らかにした。著者らは、CLRがサイクルごとに異なる極小点を露呈することを示し、それらの解の間の補間によって正則化が働き、一般化性能が向上することを示した。

ABSTRACT

We present observations and discussion of previously unreported phenomena discovered while training residual networks. The goal of this work is to better understand the nature of neural networks through the examination of these new empirical results. These behaviors were identified through the application of Cyclical Learning Rates (CLR) and linear network interpolation. Among these behaviors are counterintuitive increases and decreases in training loss and instances of rapid training. For example, we demonstrate how CLR can produce greater testing accuracy than traditional training despite using large learning rates. Files to replicate these results are available at https://github.com/lnsmith54/exploring-loss

研究の動機と目的

• 周期的学習率と学習率範囲テストを用いて、深層ニューラルネットワークにおけるこれまで報告のなかった学習ダイナミクスを調査すること。
• さまざまな学習率での学習行動の変化を観察することで、ニューラルネットワーク損失関数の背後にある構造を理解すること。
• CLRの各サイクルにおいて異なる極小点が得られるか、それらの間の補間がモデルの一般化性能を向上させるかを調査すること。
• 高いテスト精度をもたらす学習率の範囲に基づいて、ニューラルネットワークアーキテクチャのロバストネスを評価すること。
• 解の間の重み補間が正則化手法としての可能性を評価すること。

提案手法

• 三角法ポリシーを用いた周期的学習率（CLR）を適用し、学習率を固定されたイテレーション数ごとに最小値と最大値の間で振動させる。
• 学習率を小さな初期値から大きな値へ線形に増加させる学習率範囲テストを実施し、広い学習率スケールにおけるネットワークの収束行動をマップする。
• 線形ネットワーク補間を用いて、2つの訓練済み重みセットを比較する。重みの重み付き平均を計算する：net_new = α*net_1 + (1−α)*net_2（αの値を変化させながら）。
• 補間中に訓練損失およびテスト損失・精度を測定し、解が同じ極小点か、異なる極小点に対応するかを特定する。
• CLRにおける学習軌道と損失関数の挙動を分析し、損失の上昇と同時に精度が上昇する異常な現象を同定する。
• 固定学習率を用いた標準的学習とCLR学習を比較し、収束速度と最終的なモデル性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 学習率が臨界閾値を通過する際、周期的学習率を用いた場合に訓練損失と精度の挙動がどのように変化するか。
• RQ2 周期的学習率トレーニングの各サイクルにおいて、明確に異なる極小点が特定可能か。それらは異なる一般化能力に対応するか。
• RQ3 なぜテスト損失とテスト精度が同時に上昇することがあるのか。これは通常の逆相関関係に反する。
• RQ4 異なるサイクルからの解の間の補間が、モデルの一般化性能をどの程度向上させ、テスト損失を低減できるか。
• RQ5 高いテスト精度をもたらす学習率の範囲が、深層ネットワークにおけるアーキテクチャのロバストネスと相関するか。

主な発見

• ステップサイズ10,000イテレーションの周期的学習率を用いることで、ResNet-56は20,000イテレーションでCIFAR-10で93%のテスト精度に到達した。これは初期学習率0.35で標準的学習を実施した場合の91%を上回った。
• CLRトレーニング中に学習率が約0.255に達した際、訓練損失が4桁の大きさで急激に上昇したが、より高い学習率で収束が再開された。これは複雑な損失関数トポロジーを示している。
• CLRの複数のサイクルにおいて、テスト損失とテスト精度が同時に上昇する現象が観察された。これは通常の逆相関関係に反するもので、損失関数の多様な挙動を示している。
• 異なるCLRサイクルからの解の間の補間により、テスト損失の中央に極小点が存在することが判明した。これは、異なる極小点からの重み平均化が一般化性能を向上させ、正則化の一種として機能することを示している。
• 学習率範囲テストにより明らかになった損失関数トポロジーは、0.25から1.0の広い範囲の学習率で一貫して高いテスト精度を示した。これは、このような範囲を持つアーキテクチャがハイパーパramータの選択に対してよりロバストである可能性を示唆している。
• 各CLRサイクルの終了時に得られた解は、補間によってそれらの間に「ピーク」が観測されたことから、異なる極小点に対応していることが確認された。