[論文レビュー] AC/DC: Alternating Compressed/DeCompressed Training of Deep Neural Networks

Alexandra Peşte, Eugenia Iofinova+2 more|arXiv (Cornell University)|Jun 23, 2021

Advanced Neural Network Applications参考文献 53被引用数 11

ひとこと要約

AC/DC は、固定されたスパースサポート上で、密度の高いモデルとスパースなモデルを交互に訓練する新しい交互な圧縮／解凍訓練手法を提案する。この手法は、滑らかな非凸目的関数のもとで収束保証を備えつつ、スパース訓練分野で最先端の精度を達成し、既存のスパース訓練手法やトレーニング後のスパース化を上回る。特に高いスパース度においても、収束性を確保しつつ、高い性能を発揮する。

ABSTRACT

The increasing computational requirements of deep neural networks (DNNs) have led to significant interest in obtaining DNN models that are sparse, yet accurate. Recent work has investigated the even harder case of sparse training, where the DNN weights are, for as much as possible, already sparse to reduce computational costs during training. Existing sparse training methods are often empirical and can have lower accuracy relative to the dense baseline. In this paper, we present a general approach called Alternating Compressed/DeCompressed (AC/DC) training of DNNs, demonstrate convergence for a variant of the algorithm, and show that AC/DC outperforms existing sparse training methods in accuracy at similar computational budgets; at high sparsity levels, AC/DC even outperforms existing methods that rely on accurate pre-trained dense models. An important property of AC/DC is that it allows co-training of dense and sparse models, yielding accurate sparse-dense model pairs at the end of the training process. This is useful in practice, where compressed variants may be desirable for deployment in resource-constrained settings without re-doing the entire training flow, and also provides us with insights into the accuracy gap between dense and compressed models. The code is available at: https://github.com/IST-DASLab/ACDC .

研究の動機と目的

• 既存のスパース訓練手法における理論的収束保証の欠如に対処すること。
• トレーニング中におけるスパースモデルと密度モデルの精度格差を低減すること。
• 1つのトレーニングプロセス内で高精度なスパースおよび密度モデルを同時に学習可能にすること。
• 高い精度を維持しながら計算コストを削減する実用的で効率的なトレーニング方式を提供すること。
• トレーニング中におけるスパースモデルと密度モデルの予測の相関関係を理解すること。

提案手法

• AC/DC は、固定されたスパース化された重みサポート上で、標準的な密度モデルの訓練段階とスパース最適化段階を交互に繰り返す。
• スパース段階では、プルーニングマスクによって決定される重みのサブセットのみが更新され、他の重みはゼロのまま固定されるため、FLOP の削減が可能になる。
• この手法は、滑らかな非凸目的関数のもとで収束を保証するため、反復的ハードスレッショルドイング（IHT）の原則を用いる。
• トレーニングプロセスは、標準的なトレーニングと同一のハイパーパrameter（例：学習率、バッチサイズ）を用い、段階の長さは標準的な値（例：5〜10エポック）に設定される。
• 最終的に返されるモデルは、最後のスパース段階からのスパースモデルであり、最後の密度段階からの密度モデルは、密度ベースラインの精度に一致するようファインチューニングされる。
• スパース度スケジューリングは、連続する段階間でのマスク差を最小化するように設計されており、モデル品質の向上に寄与する。

実験結果

リサーチクエスチョン

• RQ1 交互な密度モデルとスパースモデルの段階を繰り返すスパース訓練手法が、滑らかな非凸目的関数に対して理論的収束を達成できるか？
• RQ2 スパースモデルと密度モデルの共同学習が、スパースベースラインと密度ベースラインの精度格差を縮小できるか？
• RQ3 AC/DC は、高スパース度において、トレーニング後のスパース化や既存のスパース訓練手法を上回ることができるか？
• RQ4 段階の長さとスパース度スケジューリングが、モデルの精度と計算効率にどのように影響するか？
• RQ5 共同学習中に、スパースモデルと密度モデルの個々の予測の関係は何か？

主な発見

• AC/DC は、ResNet50 を用いて ImageNet で 90% のスパース度において 75.18% のトップ-1精度を達成し、既存のスパース訓練手法を上回り、高スパース度においてトレーニング後のスパース化と同等またはそれを上回る性能を示した。
• AC/DC から得られるファインチューニング済み密度モデルは 76.87% の精度に達し、密度ベースラインと非常に近い結果を示しており、効果的な共同学習が実現されたことを示している。
• 100エポック、10エポックごとに交互な段階を繰り返す AC/DC は、密度ベースラインと比較して 0.7× のトレーニング FLOPs に抑えることができ、精度の損失は最小限に抑えられた。
• 最終的な解凍段階を長くすることで、ファインチューニング済み密度モデルの精度が向上し、延長されたファインチューニングがモデル回復を促進することが示唆された。
• 連続する段階間でマスク差が顕著なスパース度スケジューリングは、スパースモデルの性能向上に寄与した。
• FP16 を用いたミックス精度トレーニングは、FP32 と比較して AC/DC で 0.2–0.3% の精度低下を引き起こし、交互なトレーニング方式における精度に敏感であることが示された。