[論文レビュー] Single Shot Structured Pruning Before Training

Joost van Amersfoort, Milad Alizadeh+3 more|arXiv (Cornell University)|Jul 1, 2020

Machine Learning and Data Classification参考文献 28被引用数 15

ひとこと要約

本稿では、訓練前に行われる1ショット構造的プルーニング手法3SPを提案する。この手法は、完全なチャネルや隠れユニットを削除することで、トレーニング（GPUで2倍速）と推論（CPUで3倍速）を高速化し、CIFAR-10でわずか0.5%の精度低下で実現する。計算コストに配慮したスコアリング機構を採用し、高コストで低影響のパラメータを優先して削除する。1つのミニバッチに対して1回のフォワード・バックワードパスのみで実行可能である。

ABSTRACT

We introduce a method to speed up training by 2x and inference by 3x in deep neural networks using structured pruning applied before training. Unlike previous works on pruning before training which prune individual weights, our work develops a methodology to remove entire channels and hidden units with the explicit aim of speeding up training and inference. We introduce a compute-aware scoring mechanism which enables pruning in units of sensitivity per FLOP removed, allowing even greater speed ups. Our method is fast, easy to implement, and needs just one forward/backward pass on a single batch of data to complete pruning before training begins.

研究の動機と目的

• 深層ニューラルネットワークのトレーニングにかかる高い計算コストと炭素排出量を低減するため、訓練を開始する前にプルーニングを可能にする。
• 個々の重みではなく、完全なチャネルや隠れユニットを削除する構造的プルーニング手法を開発し、標準的なハードウェアで高速化を実現する。
• 高FLOPで低影響のパラメータを優先して削除するため、計算コストに配慮したスコアリング機構を導入する。
• 構造的プルーニングを訓練前に行うことが実現可能で効果的であることを示し、精度の著しい低下を伴わずトレーニング時間とエネルギー消費量を削減する。
• アクティブラーニングなどの動的学習環境において、迅速な再トレーニングが不可欠な状況で、モデルの迅速な適合を可能にする。

提案手法

• SNIP目的関数を構造的プルーニングに拡張し、マスクパラメータに関する損失の勾配に基づいて、各チャネルまたは隠れユニットごとにスコアを計算する。
• 損失の変化の1次近似を用いて、完全なチャネルやユニットの削除が与える影響を推定し、効率的な1パスプルーニングを可能にする。
• 計算コストに配慮した重み付けを導入し、パラメータ1つあたりのFLOPsでスコアをスケーリングすることで、高コストで低影響のコンponentsの削除を優先する。
• 最終的なマスクは、スコアをソートし、目標スパarsity比に従ってスコアが低いチャネル／ユニットをプルーニングすることで決定する。
• 全プルーニングプロセスは、1つのミニバッチに対して1回のフォワードおよびバックワードパスで完了するため、非常に効率的である。
• この手法は、あらかじめ訓練を開始する前に適用され、計算負荷を低減した状態で、プルーニング済みネットワークを再びスクラッチからトレーニング可能となる。

実験結果

リサーチクエスチョン

• RQ1 構造的プルーニングを訓練前に行うことで、標準的なハードウェア上でトレーニングと推論の両方を高速化できるか？
• RQ2 計算コストに配慮したスコアリングは、標準的なマグニチュードベースや非構造的プルーニング手法と比較して、どのようにプルーニングの効率性を向上させるか？
• RQ3 1つのバッチに対して1回のフォワード・バックワードパスでのみ実行可能な、前処理プルーニングが、最小限の精度低下で効果的に実現できるか？
• RQ4 SNIP や GraSP といった非構造的プルーニング手法と比較して、構造的プルーニングアプローチは、性能と効率性の面でどのように異なるか？
• RQ5 訓練前に行う構造的プルーニングは、迅速な再トレーニングが不可欠なアクティブラーニング環境において、モデル適合の高速化を可能にするか？

主な発見

• 提案された3SP手法は、GPU上でトレーニングを2倍速、CPU上で推論を3倍速にし、CIFAR-10でわずか0.5%の精度低下を達成した。
• 計算コストに配慮したスコアリングを組み込むことで、FLOPの削減率が60%から85%に向上し、著しく効率性が向上した。
• 1つのバッチに対して1回のフォワードおよびバックワードパスでのみ実行可能であり、実世界の展開において非常に効率的で実用的である。
• 実験的分析の結果、SNIPに基づくスコアは構造的設定でも有効であるが、GraSPの近似はこの文脈ではあまり効果を発揮しなかった。
• アクティブラーニングにおいて、3SPはより迅速なデータ収集とモデル再トレーニングを可能にし、未プルーニングのモデルと比較して、固定時間予算内でより高い精度を達成した。
• フルモデルの無駄なトレーニングを排除することで、エネルギー消費量と炭素排出量を削減し、特にリソース制限のある環境において有益である。