[論文レビュー] DeepTwist: Learning Model Compression via Occasional Weight Distortion

Dongsoo Lee, Parichay Kapoor+1 more|arXiv (Cornell University)|Oct 30, 2018

Speech Recognition and Synthesis参考文献 15被引用数 21

ひとこと要約

DeepTwist は、学習中に周期的・構造的な重み歪みを適用することで、微調整なしに剪定、量子化、低ランク近似を向上させる統合的モデル圧縮フレームワークである。最小限のハイパーパrameterチューニングで高い圧縮比を達成し、さらに事前学習モデルを上回るテストパープレキシティを実現し、強力な正則化効果を示している。

ABSTRACT

Model compression has been introduced to reduce the required hardware resources while maintaining the model accuracy. Lots of techniques for model compression, such as pruning, quantization, and low-rank approximation, have been suggested along with different inference implementation characteristics. Adopting model compression is, however, still challenging because the design complexity of model compression is rapidly increasing due to additional hyper-parameters and computation overhead in order to achieve a high compression ratio. In this paper, we propose a simple and efficient model compression framework called DeepTwist which distorts weights in an occasional manner without modifying the underlying training algorithms. The ideas of designing weight distortion functions are intuitive and straightforward given formats of compressed weights. We show that our proposed framework improves compression rate significantly for pruning, quantization, and low-rank approximation techniques while the efforts of additional retraining and/or hyper-parameter search are highly reduced. Regularization effects of DeepTwist are also reported.

研究の動機と目的

• カスタム訓練アルゴリズムと膨大なハイパーパrameterチューニングを要するモデル圧縮技術の複雑化に対処すること。
• 従来の訓練手順を変更せずに、剪定、量子化、低ランク近似の複数の圧縮手法を統合的に向上させるフレームワークの開発。
• 高い圧縮比を達成するために一般的に発生する計算コストとハイパーパrameterのオーバーヘッドを低減すること。
• 周期的な重み歪みが正則化として機能し、事前学習モデルを上回る一般化性能を向上させることを検証すること。

提案手法

• DeepTwist は、事前に定義された訓練間隔で、周期的かつ非一様な重み歪みを適用し、これを重みノイズ注入の一形態として扱う。
• 歪み関数は、目的の圧縮フォーマット（例：バイナリ、低ランク、量子化）に基づいて設計され、既存の圧縮技術と互換性を持つ。
• 基本的な訓練アルゴリズムに一切変更を加えず、圧縮タイプに関わらず、歪み頻度という1つの追加ハイパーパrameterのみを導入する。
• 歪みは選択的かつ希な頻度で適用され、計算コストを最小限に抑えつつ、損失関数の局所的最小値の探索を促進する。
• 低ランク近似の文脈では、歪み適用後にSVDを重み行列に適用し、段階的にランクを低下させることで、精度を維持したまま圧縮を最大化する。
• 標準的な最適化手法を用いたエンドツーエンド訓練をサポートしており、既存のディープラーニングパイプラインに即座に統合可能である。

実験結果

リサーチクエスチョン

• RQ1 訓練アルゴリズムを変更せずに、周期的な重み歪みが複数のモデル圧縮手法における性能向上に寄与するか。
• RQ2 提案された歪み機構が正則化として機能し、事前学習モデルを上回る一般化性能をもたらすか。
• RQ3 従来手法と比較して、DeepTwist を用いることで、モデル圧縮に必要なハイパーパrameter数はどの程度減少するか。
• RQ4 特にテストパープレキシティの維持または低減という観点から、DeepTwist は低ランク近似をどの程度向上できるか。
• RQ5 歪み頻度と初期学習率が、圧縮モデルの収束性と精度に与える影響はいかほどか。

主な発見

• DeepTwist を用いた SVD 圧縮では、r=96 の場合、射影層なしでテストパープレキシティ 82.02 を達成し、事前学習モデルの 83.78 よりも低く、圧縮にもかかわらず性能向上を示した。
• r=256 の場合、最適化された初期学習率 2.0 を用いることで、パープレキシティは 81.75 に低下し、従来の SVD 法および事前学習ベースラインを上回った。
• 最小パープレキシティに到達する再訓練時間を、事前学習の約半分に短縮した。収束が著しく速くなったことを示している。
• 特異値スペクトル解析の結果、歪みが最初の r 個の特異値を増幅させ、r を超える部分では特異値を減衰させることで、効果的な低ランク近似が実現されていることが示された。
• 固定された初期学習率でも、DeepTwist を用いた SVD は、全テストランクで従来の SVD よりも一貫して優れた性能を示し、ロバスト性を確認した。
• フレームワークは、最小限のハイパーパrameterチューニングと訓練パイプラインの変更なしに、高い圧縮比を達成でき、実用性とスケーラビリティを裏付けた。