[論文レビュー] Drawing Early-Bird Tickets: Toward More Efficient Training of Deep Networks

Haoran You, Chaojian Li+7 more|arXiv (Cornell University)|Apr 30, 2020

Advanced Neural Network Applications参考文献 32被引用数 78

ひとこと要約

この論文では、初期の停止や高学習率での低精度学習といった低コストな手法を用いて、訓練の初期段階で特定可能な重要なサブネットワーク（エアリービルド・チケット、EBチケット）を紹介する。新しいマスク距離メトリックを活用することで、完全な訓練を経ずにEBチケットを効率的に検出でき、モデルの精度を維持または向上させながら最大4.7倍のエネルギー効率向上が可能になる。

ABSTRACT

(Frankle & Carbin, 2019) shows that there exist winning tickets (small but critical subnetworks) for dense, randomly initialized networks, that can be trained alone to achieve comparable accuracies to the latter in a similar number of iterations. However, the identification of these winning tickets still requires the costly train-prune-retrain process, limiting their practical benefits. In this paper, we discover for the first time that the winning tickets can be identified at the very early training stage, which we term as early-bird (EB) tickets, via low-cost training schemes (e.g., early stopping and low-precision training) at large learning rates. Our finding of EB tickets is consistent with recently reported observations that the key connectivity patterns of neural networks emerge early. Furthermore, we propose a mask distance metric that can be used to identify EB tickets with low computational overhead, without needing to know the true winning tickets that emerge after the full training. Finally, we leverage the existence of EB tickets and the proposed mask distance to develop efficient training methods, which are achieved by first identifying EB tickets via low-cost schemes, and then continuing to train merely the EB tickets towards the target accuracy. Experiments based on various deep networks and datasets validate: 1) the existence of EB tickets, and the effectiveness of mask distance in efficiently identifying them; and 2) that the proposed efficient training via EB tickets can achieve up to 4.7x energy savings while maintaining comparable or even better accuracy, demonstrating a promising and easily adopted method for tackling cost-prohibitive deep network training.

研究の動機と目的

• 標準的なトレイン・プルーニング・リトレインプロセスによるウィンナーチケットの特定にかかる高い計算コストを軽減すること。
• 収束する前にも、重要なサブネットワーク（ウィンナーチケット）を訓練の初期段階で発見できるかを調査すること。
• 最終的なウィンナーチケットの知識がなくても、これらの初期サブネットワークを低オーバーヘッドで特定する手法を開発すること。
• 特定されたエアリービルド・チケットに限定して訓練を実行することで、エネルギーと計算コストを削減し、効率的なトレーニングを可能にすること。

提案手法

• 訓練の初期段階で高い精度を達成するサブネットワークとして、エアリービルド（EB）チケットを提案する。
• 初期の停止や高学習率での低精度学習といった低コストなトレーニング方式を用い、EBチケットを効率的に同定する。
• トレーニングステップ間でのサブネットワーク構造を比較するためのマスク距離メトリックを導入し、最終的なウィンナーチケットの知識がなくてもEBチケットの検出を可能にする。
• マスク距離を用いて初期段階で最も有望なサブネットワークを特定し、その後はそのサブネットワークのみを継続して訓練することで、目標精度に到達する。
• 特定されたEBチケットを活用して効率的なトレーニングを実現し、全ネットワークの再訓練を回避する。

実験結果

リサーチクエスチョン

• RQ1 収束する前にも、訓練の非常に初期段階でウィンナーチケットを特定できるか？
• RQ2 初期の停止や高学習率での低精度学習といった低コストなトレーニング方式は、重要なサブネットワークの早期検出を可能にするか？
• RQ3 最終的なウィンナーチケットの知識がなくても、マスク距離メトリックがEBチケットを信頼性高く同定できるか？
• RQ4 特定されたEBチケットに限定して訓練を実行することで、顕著にエネルギーと計算コストを削減しながら、同等またはより高い精度を達成できるか？

主な発見

• エアリービルド・チケットは存在し、初期の停止や高学習率での低精度学習といった低コストなトレーニング方式を用いて同定可能である。
• 提案されたマスク距離メトリックにより、最終的なウィンナーチケットの知識がなくても、最小限の計算オーバーヘッドでEBチケットの正確な同定が可能である。
• 標準的なトレーニングと比較して最大4.7倍のエネルギー削減が達成され、モデルの精度は維持または向上している。
• さまざまなディープニューラルネットワークとデータセットを用いた実験により、EBチケットとマスク距離メトリックの有効性が多様なアーキテクチャーやタスクにわたり確認された。