[論文レビュー] Good Students Play Big Lottery Better.

Haoyu Ma, Tianlong Chen+4 more|arXiv (Cornell University)|Jan 8, 2021

Advanced Neural Network Applications参考文献 36被引用数 15

ひとこと要約

本論文は、ResNet-50 や ResNet-110 などの大規模モデルにおいて、ロットリート・チケットを上回るか同等の性能を示すスパースサブネットワークを特定するための新規手法である知識蒸留チケット（KDチケット）を紹介する。訓練済みの密度型ネットワークからのソフトラベルを用いてサブネットワークを再訓練することで、ハイパーパramータチューニングなしでリワインドを上回るか同等の性能を達成し、さらにリワインドと組み合わせることで、CIFAR-10 および ImageNet で最先端の結果を達成する。

ABSTRACT

Lottery hypothesis suggests that a dense neural network contains a sparse sub-network that can match the test accuracy of the original dense net when trained in isolation from (the same) random initialization. However, the hypothesis failed to generalize to larger dense networks such as ResNet-50. As a remedy, recent studies demonstrate that a sparse sub-network can still be obtained by using a rewinding technique, which is to re-train it from early-phase training weights or learning rates of the dense model, rather than from random initialization. Is rewinding the only or the best way to scale up lottery tickets? This paper proposes a new, simpler and yet powerful technique for re-training the sub-network, called Knowledge Distillation ticket (KD ticket). Rewinding exploits the value of inheriting knowledge from the early training phase to improve lottery tickets in large networks. In comparison, KD addresses a complementary possibility - inheriting useful knowledge from the late training phase of the dense model. It is achieved by leveraging the soft labels generated by the trained dense model to re-train the sub-network, instead of the hard labels. Extensive experiments are conducted using several large deep networks (e.g ResNet-50 and ResNet-110) on CIFAR-10 and ImageNet datasets. Without bells and whistles, when applied by itself, KD performs on par or better than rewinding, while being nearly free of hyperparameters or ad-hoc selection. KD can be further applied together with rewinding, yielding state-of-the-art results for large-scale lottery tickets.

研究の動機と目的

• ResNet-50 などの大規模モデルにスケーリングする際、標準的なランダム初期化では強力なスパースサブネットワークが得られないというロットリートチケット仮説の限界に対処すること。
• 密度型ネットワークの後期トレーニング段階からの知識が、ロットリートチケットの性能を向上させられるかどうかを検討すること。リワインドのように初期段階の重みに依存するのではなく、後期段階の知識を活用する。
• ハイパーパramータ感受性やトレーニング段階の恣意的選択を回避する、リワインドのより単純でより頑健な代替手法を開発すること。
• 訓練済みの密度型モデルからのソフトラベルからの知識蒸留が、孤立しても高精度なスパースサブネットワークを生成できることを示すこと。
• KDとリワインドを組み合わせることで、大規模なロットリートチケット発見において最先端の性能を達成すること。

提案手法

• 知識蒸留チケット（KDチケット）を提案。スパースサブネットワークを、完全に訓練された密度型ネットワークからのソフトラベル（ログ確信度）を用いて再訓練する。
• サブネットワークは元の密度型ネットワークと同じランダム重みから初期化されるが、ハードラベルを用いた標準的な交差エントロピーではなく、蒸留損失を用いて訓練される。
• 密度型ネットワークの最終状態からの知識を活用することで、ランダム初期化や初期段階の重みに依存するのではなく、サブネットワークの一般化性能を向上させる。
• コアな形ではハイパーパramータフリーであり、トレーニング段階や学習率スケジュールの選択が不要である。
• KDを適用した後、リワインドされた重みで微調整することで、リワインドと組み合わせることができ、相乗効果による性能向上が得られる。
• 温度スケーリングや知識蒸留損失を含む標準的な蒸留技術を用い、教師（密度型ネットワーク）から生徒（サブネットワーク）へ知識を転送する。

実験結果

リサーチクエスチョン

• RQ1 密度型ネットワークの後期トレーニング段階からの知識が、大規模モデルにおけるスパースサブネットワークの性能を向上させられるか？
• RQ2 ソフトラベルからの知識蒸留が、大規模なロットリートチケット発見においてリワインドを上回るか同等の性能を発揮するか？
• RQ3 ロットリートチケット向けに、効果的かつハイパーパramータフリーな蒸留ベースの手法が実現可能で、恣意的な段階選択の必要がないか？
• RQ4 アーキテクチャやデータセットの違いを考慮して、KDとリワインドの精度および頑健性の違いは何か？
• RQ5 KDをリワインドと組み合わせることで、大規模なロットリートチケットトレーニングにおいて最先端の結果を達成できるか？

主な発見

• KDチケットは、ハイパーパramータチューニングなしで、ResNet-50 や ResNet-110 においてリワインドと同等またはそれ以上の性能を達成する。
• KD手法はほぼハイパーパramータフリーであり、トレーニング段階や学習率の選択を手動で行う必要がない。
• CIFAR-10 および ImageNet において、KD単体でも、先行研究で報告された最先端のロットリートチケットを同等または上回る精度を達成する。
• リワインドと組み合わせることで、さらに性能が向上し、大規模なロットリートチケット発見において最先端の結果を達成する。
• 訓練済みの密度型モデルからのソフトラベルの使用により、ハードラベルのみに依存する場合よりも、より頑健で一般化可能な特徴をサブネットワークが学習できる。
• アーキテクチャやデータセットにわたって一般化が良く、CIFAR-10 および ImageNet ベンチマークの両方で一貫した改善を示す。