[論文レビュー] Layer Freezing & Data Sieving: Missing Pieces of a Generic Framework for Sparse Training

Geng Yuan, Yanyu Li+6 more|arXiv (Cornell University)|Sep 22, 2022

Machine Learning and ELM被引用数 4

ひとこと要約

本稿では、スパーストレーニングのための汎用的フレームワークであるSpFDEを提案する。SpFDEは、層の凍結とデータシービングを統合することで、精度を損なわずにトレーニングコストを削減する。段階的に初期層を凍結し、動的にトレーニングデータセットを縮小することで、FLOPsとメモリ使用量を顕著に削減するが、ImageNetおよびCIFAR-100で、さまざまなスパarsityレベルにおいて最先端の手法を上回る性能を発揮する。

ABSTRACT

Recently, sparse training has emerged as a promising paradigm for efficient deep learning on edge devices. The current research mainly devotes efforts to reducing training costs by further increasing model sparsity. However, increasing sparsity is not always ideal since it will inevitably introduce severe accuracy degradation at an extremely high sparsity level. This paper intends to explore other possible directions to effectively and efficiently reduce sparse training costs while preserving accuracy. To this end, we investigate two techniques, namely, layer freezing and data sieving. First, the layer freezing approach has shown its success in dense model training and fine-tuning, yet it has never been adopted in the sparse training domain. Nevertheless, the unique characteristics of sparse training may hinder the incorporation of layer freezing techniques. Therefore, we analyze the feasibility and potentiality of using the layer freezing technique in sparse training and find it has the potential to save considerable training costs. Second, we propose a data sieving method for dataset-efficient training, which further reduces training costs by ensuring only a partial dataset is used throughout the entire training process. We show that both techniques can be well incorporated into the sparse training algorithm to form a generic framework, which we dub SpFDE. Our extensive experiments demonstrate that SpFDE can significantly reduce training costs while preserving accuracy from three dimensions: weight sparsity, layer freezing, and dataset sieving.

研究の動機と目的

• スパarsityの増加に依存するコスト削減戦略にとどまらず、精度の低下を引き起こす傾向がある中で、スパーストレーニングにおける代替的コスト削減戦略の探求。
• 動的スパーストレーニング（DST）の分野でこれまで未検討であった、スパーストレーニングにおける層の凍結の実現可能性と有効性の調査。
• 情報量の多いサンプルを動的に選択することで、エンドツーエンドのデータセット効率の良いトレーニングを可能にするデータシービング手法の開発。
• スパーストレーニングに適した汎用的で即座に統合可能なフレームワークとして、層の凍結とデータシービングを統合し、高い精度を維持する。
• 重みのスパarsity、層の凍結、およびデータセットの縮小を組み合わせることで、トレーニング効率とメモリ節約の両面で優れた効果が得られることの実証。

提案手法

• トレーニング中に構造的・表現的類似性に基づいて、スパースモデルの初期層を特定し、段階的に凍結するプログレッシブな層の凍結戦略を提案する。
• トレーニングの全過程にわたり、データセットから最も情報量の多いサンプルのみを継続的にフィルタリング・保持する動的データシービング技術を導入する。
• 重みのスパarsity、層の凍結、データシービングを統合した包括的なトレーニングパイプラインを実現する汎用フレームワークSpFDEを設計する。
• スパarsity、凍結された層、および縮小されたデータセットサイズを考慮したFLOPsベースの指標を用いて、コスト削減を評価する。
• 32ビット浮動小数点表現とバッチサイズ64を用いてメモリコストを測定し、SpFDEをベースラインのDST手法と比較する。
• 層の凍結とデータシービングの貢献度を分離するためのアブレーションスタディを実施し、個別および併用効果を検証する。

実験結果

リサーチクエスチョン

• RQ1 動的スパーストレーニング（DST）における動的なスパarsityパターンを考慮しても、層の凍結はスパーストレーニングに効果的に適用可能か？
• RQ2 特に静的データセット縮小と比較して、スパーストレーニングにおけるデータシービングは、モデルの精度とトレーニング効率にどのように影響を与えるか？
• RQ3 重みのスパarsity、層の凍結、およびデータセットの縮小を組み合わせた場合、トレーニングFLOPsとメモリコストにどのような影響を与えるか？
• RQ4 さまざまなスパarsityレベルにおいて、SpFDEは最先端のスパーストレーニング手法と比較して、精度と効率の面でどのように差をつけるか？
• RQ5 重みのスパarsity、層の凍結、データセット縮小の3つの技術を組み合わせた場合、精度、FLOPs、メモリ使用量、実際のトレーニング加速の間で最適なトレードオフは何か？

主な発見

• ResNet-50を用いたImageNetにおいて、SpFDEはMESTや他のSOTA手法と同等のFLOPsレベルで高いトップ1精度を達成し、0.95×10^18 FLOPsで最高の76.03%を記録した。
• 95%のスパarsity条件下で、SpFDEはベースラインのDST手法と比較して、トレーニングFLOPsを最大43.9%まで削減した。また、最小メモリコストは既存の手法よりも顕著に低かった。
• SpFDEの平均メモリコストは、ベースラインDST手法が要請する最小値よりも20～25.3%低く、定期的な密度のあるバックプロパゲーションに伴う追加のオーバーヘッドを考慮しても同様であった。
• SpFDEにおけるデータシービングはトレーニングセットを動的に更新するため、過学習の緩和に寄与し、MESTで用いられる一回のデータセット縮小と比較して高い精度を達成した。
• アブレーションスタディの結果、層の凍結とデータシービングの両方が個別に性能向上に寄与しており、併用することで最も強い効果が得られた。
• SpFDEは、前回のSOTAであるRigL-ITOPを上回り、0.95×10^18 FLOPsで76.03%のトップ1精度を達成した。また、ベースライン手法と比較して、メモリ使用量とFLOPsの両方を削減した。