[論文レビュー] MEST: Accurate and Fast Memory-Economic Sparse Training Framework on the Edge

Geng Yuan, Xiaolong Ma+14 more|arXiv (Cornell University)|Oct 26, 2021

Advanced Neural Network Applications参考文献 53被引用数 41

ひとこと要約

MESTは、エッジデバイスでのメモリ効率と正確性を両立するElastic Mutation（EM）とSoft Memory Bound（EM&S）を導入し、情報量の少ない例を除去するデータ効率のある二段階訓練を用いて、メモリ効率の高い正確なスパース訓練を実現します。

ABSTRACT

Recently, a new trend of exploring sparsity for accelerating neural network training has emerged, embracing the paradigm of training on the edge. This paper proposes a novel Memory-Economic Sparse Training (MEST) framework targeting for accurate and fast execution on edge devices. The proposed MEST framework consists of enhancements by Elastic Mutation (EM) and Soft Memory Bound (&S) that ensure superior accuracy at high sparsity ratios. Different from the existing works for sparse training, this current work reveals the importance of sparsity schemes on the performance of sparse training in terms of accuracy as well as training speed on real edge devices. On top of that, the paper proposes to employ data efficiency for further acceleration of sparse training. Our results suggest that unforgettable examples can be identified in-situ even during the dynamic exploration of sparsity masks in the sparse training process, and therefore can be removed for further training speedup on edge devices. Comparing with state-of-the-art (SOTA) works on accuracy, our MEST increases Top-1 accuracy significantly on ImageNet when using the same unstructured sparsity scheme. Systematical evaluation on accuracy, training speed, and memory footprint are conducted, where the proposed MEST framework consistently outperforms representative SOTA works. A reviewer strongly against our work based on his false assumptions and misunderstandings. On top of the previous submission, we employ data efficiency for further acceleration of sparse training. And we explore the impact of model sparsity, sparsity schemes, and sparse training algorithms on the number of removable training examples. Our codes are publicly available at: https://github.com/boone891214/MEST.

研究の動機と目的

• エッジ環境に適したスパース訓練を動機づけ、精度を維持しつつメモリ・計算・エネルギーを削減する。
• エッジの制約下でメモリ効率を維持するスパース訓練フレームワーク（MEST）を開発する。
• 実機上でスパース性スキームが精度、メモリ使用量、訓練速度に与える影響を調査する。
• 最終的な精度を損なうことなく訓練をさらに加速するためのスパース訓練におけるデータ効率を探る。

提案手法

• 変異によってターゲットスパース性 s を維持するスパース訓練フレームワーク（MEST）を定義する。
• 収束を不安定化させずに変異率を徐々に低減し探索空間を広げる Elastic Mutation（EM）を導入する。
• 最終的なスパース性を維持しつつ、新たに成長した重みの一時的な成長と訓練を許容する Soft Memory Bound（EM&S）を提案する。これによりメモリの柔軟性が得られる。
• 重みの大きさと勾配の大きさを組み合わせた重要度スコアを計算し、重みの削除／成長を導く。
• 変異とスパース性操作はインデックス上で実行され、プロセスを厳密にスパースのままにしてメモリ効率を保つ。
• エッジデバイス上で異なるスパース性スキーム（非構造、ブロック、パターン）を評価し、実際の訓練速度、精度、メモリ使用量を測定する。
• 訓練中に情報量が少ない例を特定して削除するための、忘却イベントを指標としたデータ効率的な二段階訓練（DE）を提案する。

実験結果

リサーチクエスチョン

• RQ1 エッジデバイス上で、スパース性スキーム全体に対して、精度・訓練速度・メモリフットプリントの観点でMESTフレームワークはどのように性能を発揮しますか？
• RQ2 高スパース比におけるエンドモデルの精度に対するElastic MutationとSoft Memory Boundの影響は何ですか？
• RQ3 データ効率（二段階訓練）は最終的な精度を損なうことなく、エッジ上でのスパース訓練をさらに加速できますか？
• RQ4 各スパース性スキーム（非構造・ブロック・パターン）はモバイルハードウェア上の訓練速度とメモリ消費にどのように影響しますか？

主な発見

• MEST+EM、特にMEST+EM&Sは、ResNet-32/VGG-19を用いたCIFAR-10/100において、SOTAのスパース訓練手法と比較して、スパース比の変動に対して一貫して精度を向上させる。
• MESTはエッジデバイス上で大幅な訓練加速を実現し、ブロック／パターンスキームで最大約2.3倍の利得と、スキームに応じた顕著なメモリフットプリント削減を達成する。
• Soft Memory Bound（EM&S）は、非常に高いスパース性（例: 98%）で新たに成長した重みの pruning 前の成長を許容することにより、精度を高く保つ。これが元に戻す機構として機能する。
• データ効率的な二段階訓練（DE）は、忘れられない例の削除を活用して、最終的な精度を損なうことなくCIFAR-10/100の実験で訓練時間をさらに10-22%削減できる。
• ImageNetのResNet-50全体で、MEST系は類似または低いFLOPsで精度が優れ、エッジ用ハードウェアでのメモリ効率を維持する。