[論文レビュー] A Closer Look at Deep Learning Heuristics: Learning rate restarts, Warmup and Distillation

Akhilesh Deepak Gotmare, Nitish Shirish Keskar+2 more|arXiv (Cornell University)|Oct 29, 2018

Neural Networks and Applications参考文献 28被引用数 70

ひとこと要約

この論文は、コサインアニーリング（SGDR）、学習率ウォームアップ、知識蒸留という3つの深層学習ヒューリスティクスをモード連結性とSVCCAを用いて、訓練ダイナミクスと表現転移を理解する。

ABSTRACT

The convergence rate and final performance of common deep learning models have significantly benefited from heuristics such as learning rate schedules, knowledge distillation, skip connections, and normalization layers. In the absence of theoretical underpinnings, controlled experiments aimed at explaining these strategies can aid our understanding of deep learning landscapes and the training dynamics. Existing approaches for empirical analysis rely on tools of linear interpolation and visualizations with dimensionality reduction, each with their limitations. Instead, we revisit such analysis of heuristics through the lens of recently proposed methods for loss surface and representation analysis, viz., mode connectivity and canonical correlation analysis (CCA), and hypothesize reasons for the success of the heuristics. In particular, we explore knowledge distillation and learning rate heuristics of (cosine) restarts and warmup using mode connectivity and CCA. Our empirical analysis suggests that: (a) the reasons often quoted for the success of cosine annealing are not evidenced in practice; (b) that the effect of learning rate warmup is to prevent the deeper layers from creating training instability; and (c) that the latent knowledge shared by the teacher is primarily disbursed to the deeper layers.

研究の動機と目的

• 共通ヒューリスティクスが深層学習の収束を速め、一般化を向上させる理由の理解を動機づける。
• モード連結性を適用して、リスタートやスケジュール変更を跨ぐ損失ランドスケープのダイナミクスを評価する。
• SVCCAを用いて層表現を比較し、教師から学生への知識転移を定量化する。
• ウォームアップが大規模バッチ訓練中の層ごとの重み変化と安定性にどのように影響するかを特徴づける。

提案手法

• 独立して訓練された最適解を結ぶ低損失曲線を構築し、訓練選択に対する頑健性を評価するためにモード連結性を利用する。
• SVCCAを適用して、訓練反復間およびネットワーク間（教師対学生）の層間表現の類似性を測定する。
• セグメントとモード曲線に沿った損失障壁を比較して、SGDRの挙動を実証的に分析する。
• 大規模バッチ訓練における層ごとの変化と潜在的なFC層の凍結を代替案として検討する。
• 蒸留知識を、SVCCAを用いて蒸留の有無で教師–学生の表現を比較することにより調査する。

実験結果

リサーチクエスチョン

• RQ1 コサインアニーリング（SGDR）は本当に障壁を回避するのか、それとも性能向上の他の効果に依存しているのか？
• RQ2 特に深い層に対して、学習率ウォームアップの層ごとの影響はどうか？
• RQ3 蒸留中、教師から学生へ知識はネットワークの層を超えてどのように伝達されているのか？
• RQ4 モード連結性の曲線は異なる訓練選択とハイパーパラメータに頑健か？
• RQ5 活性化表現は蒸留が最も恩恵をもたらす場所を示しているか？

主な発見

• コサイン退火の主張的な理由は一貫して証拠づけられていない。リスタート後に反復が障壁を越えるが、これだけで性能向上を完全には説明しない。
• 学習率ウォームアップは主に深い層の重み変化を制限し、それらを凍結させることで大規模バッチ訓練におけるウォームアップと同等の結果を得られる可能性がある。
• 教師からの潜在的知識は主に学生のより深い（識別的）層へ分布する。
• 初期と後期の訓練段階の表現類似性は、SGDRとSGDで比較可能であり、リスタートは軌道を変えるにもかかわらず一致している。
• 蒸留された学生は独立に訓練した counterpart より検証で上回り、層ごとの分析では深い層が教師とより整合している。
• ウォームアップと減衰スケジュールは初期層より深い層に影響を与えることで軌道を変える。