[論文レビュー] FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training

Yonggan Fu, Haoran You+6 more|arXiv (Cornell University)|Dec 24, 2020

Advanced Neural Network Applications被引用数 30

ひとこと要約

FracTrain は漸進的な部分量子化と入力適応型ダイナミック部分量子化を組み合わせ、複数のモデルとデータセットに渡って精度を保持しつつ DNN の訓練コストを削減します。

ABSTRACT

Recent breakthroughs in deep neural networks (DNNs) have fueled a tremendous demand for intelligent edge devices featuring on-site learning, while the practical realization of such systems remains a challenge due to the limited resources available at the edge and the required massive training costs for state-of-the-art (SOTA) DNNs. As reducing precision is one of the most effective knobs for boosting training time/energy efficiency, there has been a growing interest in low-precision DNN training. In this paper, we explore from an orthogonal direction: how to fractionally squeeze out more training cost savings from the most redundant bit level, progressively along the training trajectory and dynamically per input. Specifically, we propose FracTrain that integrates (i) progressive fractional quantization which gradually increases the precision of activations, weights, and gradients that will not reach the precision of SOTA static quantized DNN training until the final training stage, and (ii) dynamic fractional quantization which assigns precisions to both the activations and gradients of each layer in an input-adaptive manner, for only "fractionally" updating layer parameters. Extensive simulations and ablation studies (six models, four datasets, and three training settings including standard, adaptation, and fine-tuning) validate the effectiveness of FracTrain in reducing computational cost and hardware-quantified energy/latency of DNN training while achieving a comparable or better (-0.12%~+1.87%) accuracy. For example, when training ResNet-74 on CIFAR-10, FracTrain achieves 77.6% and 53.5% computational cost and training latency savings, respectively, compared with the best SOTA baseline, while achieving a comparable (-0.07%) accuracy. Our codes are available at: https://github.com/RICE-EIC/FracTrain.

研究の動機と目的

• 限られたリソースを考慮し、オンデバイスまたはエッジでの効率的な DNN 訓練を動機づける。
• 訓練経過と入力ごとに適応する、静的でない訓練時量子化戦略を開発する。
• 訓練中に段階的に精度を上げる Progressive Fractional Quantization (PFQ) を提案する。
• 入力ごとに軽量ゲーティングを用いて層の精度を適応させる Dynamic Fractional Quantization (DFQ) を提案する。
• PFQ と DFQ を統合した統一的な FracTrain フレームワークを構築し、訓練コスト削減と精度を評価する。

提案手法

• PFQ を導入し、四段階の精度スケジュールとエポック差分の損失変化指標を用いて徐々に精度を高める。
• 層ごとにゲーティングネットワークを持ち、ソフトな中間版を介してビット精度を選択する DFQ と、コストに配慮した訓練目的を導入する。
• PFQ と DFQ を組み合わせて FracTrain 目的を定義する。PFQ が時間的な精度の進行を制御し、DFQ が空間的・入力適応的な精度を処理する。
• 層の計算をゲート付き低ビット畳み込みの和とスキップ接続としてモデル化し、分数更新を実現する。
• コストを考慮した損失項 cp(W_base, W_G) を用い、重み付けパラメータの符号を調整して目標訓練コスト cp を狙う。
• six models (ResNet-18/34/38/74, MobileNetV2, Transformer-base) を CIFAR-10/100, ImageNet, WikiText-103 で評価する。

実験結果

リサーチクエスチョン

• RQ1 訓練中に精度を段階的に高める（PFQ）ことで、精度を損なうことなく訓練コストを低減できるか。
• RQ2 入力適応的な層単位の精度選択（DFQ）で、PFQ を超えて訓練コストをさらに減らせるか。
• RQ3 多様なモデル・データセット・タスクにおける、時間的および空間的な部分量子化（FracTrain）の組み合わせ効果は何か。
• RQ4 最先端の静的低精度訓練ベースラインと比較して、精度と訓練コストの観点で FracTrain はどうか。

主な発見

• FracTrain は大幅な訓練コスト削減を達成し、複数のモデルとデータセットでしばしば同等またはそれ以上の精度を示す。
• PFQ は ResNet-38/74 および CIFAR-10/100 において SBM と比較して訓練コストを一貫して削減し、精度を維持またはわずかに向上させる。
• DFQ は SBM と比較して計算コストを削減し、精度を維持または改善、選択的層更新法を上回る。
• FracTrain (PFQ+DFQ) は MACs を大幅に削減（数十％に達することも）し、エネルギーやレイテンシといったハードウェア指標も同等の精度で改善。
• ImageNet と WikiText-103 において、PFQ はそれぞれ約21%と44%のコスト削減を達成し、精度/困惑度を維持または改善。
• CIFAR-100 の適応・ファインチューニングの場面で、FracTrain は精度を維持または僅かに改善しつつ MACs を大幅に削減。