[論文レビュー] A Unified DNN Weight Compression Framework Using Reweighted Optimization Methods

Tianyun Zhang, Xiaolong Ma+8 more|arXiv (Cornell University)|Apr 12, 2020

Advanced Data Compression Techniques参考文献 34被引用数 4

ひとこと要約

本稿では、再重み付け最適化を用いて、高精度・高レートの構造的・非構造的スパースニスを実現し、自動ハイパーパramータチューニングを可能にする統一的DNN重みプルーニングフレームワークを提案する。ADMMの硬い$ε$-ノルム制約を動的に更新される再重み付け$¹$正則化に置き換えることで、収束を加速し、訓練時間を150エポックから85エポックに短縮した。ResNet-18では4.2×の構造的プルーニングを達成し、トップ5精度88.5%を記録した。これは最先端のADMM手法を上回る結果である。

ABSTRACT

To address the large model size and intensive computation requirement of deep neural networks (DNNs), weight pruning techniques have been proposed and generally fall into two categories, i.e., static regularization-based pruning and dynamic regularization-based pruning. However, the former method currently suffers either complex workloads or accuracy degradation, while the latter one takes a long time to tune the parameters to achieve the desired pruning rate without accuracy loss. In this paper, we propose a unified DNN weight pruning framework with dynamically updated regularization terms bounded by the designated constraint, which can generate both non-structured sparsity and different kinds of structured sparsity. We also extend our method to an integrated framework for the combination of different DNN compression tasks.

研究の動機と目的

• 静的および動的正則化に基づくDNNプルーニングの限界、すなわち精度の低下と長時間の収束を是正すること。
• ハイパーパramータ感度を低減しつつ、非構造的および構造的スパースニスの生成を1つの最適化フレームワークで統合すること。
• 非凸的な$ε$-ノルム制約を再重み付け$¹$正則化に置き換えることで、収束を加速し、訓練時間を短縮すること。
• 動的正則化による自動的な各レイヤーのプルーニングレート決定を可能にし、手動チューニングを排除すること。
• プルーニングと量子化の統合圧縮タスクへの拡張を図ること。

提案手法

• 不確実な$ε$-ノルムスパースニス制約の代理として再重み付け$¹$正則化を用い、効率的な最適化を可能にする。
• 現在の重みの大きさに基づいて再重み付け係数を動的に更新し、重要度の低い重みを段階的に同定・プルーニングする。
• しきい値以下の重みは勾配更新からマスクされ、恒久的に削除されるが、残りの重みは精度回復のため微調整される。
• グループラassoと再重み付け正則化を用いることで、非構造的スパースニスとさまざまな構造的スパースニスパターンの両方をサポートする。
• マルチタスク圧縮では、ADMMベースの硬い制約を1つのタスク（例：パターンプルーニング）に、再重み付け正則化を別のタスク（例：重み量子化）に適用する。
• この手法は$ε$-ノルム制約の強い非凸性を回避し、ADMMよりも収束が速く、ハイパーパramータも少ない。

実験結果

リサーチクエスチョン

• RQ1 再重み付け$¹$正則化は、プルーニングレートと収束速度においてADMMベースの硬い制約を上回ることができるか？
• RQ2 統一フレームワークは、最小限のハイパーパramータチューニングで非構造的および構造的スパースニスを生成できるか？
• RQ3 再重み付け正則化とADMMを組み合わせたマルチタスク圧縮では、両方のタスクにADMMを適用する場合よりも高い総合圧縮率が得られるか？
• RQ4 手動設定なしで各レイヤーのプルーニングレートを自動的に決定できるか？
• RQ5 本手法は、マグニチュードベースおよび$¹$ベースのプルーニングと比較して、精度と圧縮効率の面で優れているか？

主な発見

• 提案手法は、ImageNet用ResNet-18で4.2×の構造的プルーニングを達成し、トップ5精度88.5%を記録した。これは最先端のADMM手法（3.0×、87.9%精度）を上回る。
• 訓練時間はADMMの150エポックから、1つのペナルティパラメータを用いることで85エポックに短縮され、各レイヤーのハイパーパramータチューニングが不要になった。
• MNIST用LeNet-5では、0.2%の精度損失で1014×の総合圧縮率を達成し、ADMM-NNの623×を上回った。
• ImageNet用AlexNetでは、0.2%の精度損失で115×の総合圧縮率を達成し、ADMM-NNの99×を上回った。
• CIFAR-10用VGG-16では、パターンおよびキーネルワイズプルーニングを組み合わせ、34.9×のプルーニングレート（PCONVより1.76倍高い）を達成した。ImageNetでは13.1×（PCONVより1.87倍高い）を達成した。
• 再重み付け正則化フレームワークにより、自動的な各レイヤーのプルーニングレート決定が可能になり、ヒューリスティックなハイパーパラメータ選択への依存が低減した。