[論文レビュー] Weightless: Lossy Weight Encoding For Deep Neural Network Compression

Brandon Reagen, Udit Gupta+5 more|arXiv (Cornell University)|Nov 13, 2017

Advanced Data Compression Techniques被引用数 28

ひとこと要約

Weightlessは、Bloomierフィルタを用いた新しい損失あり重み符号化方式を提案し、深層ニューラルネットワークの圧縮を実現する。これにより、精度に影響を与えずに最大496倍の圧縮が可能となる。重みのプルーニングとクラスタリングを組み合わせ、確率的符号化を適用することで、Deep Compressionなどの最先端手法よりも1.51倍優れた圧縮比を達成する。

ABSTRACT

The large memory requirements of deep neural networks limit their deployment and adoption on many devices. Model compression methods effectively reduce the memory requirements of these models, usually through applying transformations such as weight pruning or quantization. In this paper, we present a novel scheme for lossy weight encoding which complements conventional compression techniques. The encoding is based on the Bloomier filter, a probabilistic data structure that can save space at the cost of introducing random errors. Leveraging the ability of neural networks to tolerate these imperfections and by re-training around the errors, the proposed technique, Weightless, can compress DNN weights by up to 496x with the same model accuracy. This results in up to a 1.51x improvement over the state-of-the-art.

研究の動機と目的

• リソース制限のあるデバイスへの展開を念頭に、深層ニューラルネットワークのメモリ使用量と帯域幅を削減すること。
• 従来のプルーニングや量子化をはるかに超えて、DNN重みに内在する冗長性を活用した損失あり符号化技術を調査すること。
• モデルのスパarsityが増加するに従い、効率的にスケーリング可能な圧縮方式を開発すること。
• Bloomierフィルタのような確率的データ構造が、高圧縮DNN重み符号化に効果的に応用可能であることを示すこと。
• Deep Compressionなどの既存の最先端手法と比較して、優れた圧縮比を達成すること。

提案手法

• Bloomierフィルタ（確率的データ構造）を活用し、誤り率を制御した関数マッピングの保存により、DNN重みを損失ありで符号化する。
• Bloomierフィルタの特性に適合させるために、重みのプルーニングとクラスタリングを事前処理として適用する。
• Bloomierフィルタによる近似誤差を低減するため、再訓練を実施し、モデルの精度を維持する。
• Bloomierフィルタ表現に対して算術符号化を適用し、CSR形式に対してハフマン符号化を適用することで、さらに符号化された重みを圧縮する。
• 非ゼロ重みの数に依存せずに、Bloomierフィルタの誤検出率を独立して制御でき、スケーラブルな圧縮を実現する。
• ストレージの節約と誤差耐性のバランスを取るために、フィルタパラメータを調整することで符号化プロセスを最適化する。

実験結果

リサーチクエスチョン

• RQ1 Bloomierフィルタのような確率的データ構造を用いた損失あり符号化が、精度の低下を伴わずにDNN重みで高い圧縮比を達成できるか。
• RQ2 Weightlessの圧縮性能は、既存手法と比較して、モデルスパarsityが増加するに従いどのようにスケーリングするか。
• RQ3 再訓練によって、Bloomierフィルタ近似が引き起こす誤差をどの程度低減できるか。
• RQ4 Weightlessは、Deep Compressionのような最先端の圧縮技術と比較して、どの程度の相対的改善を示すか。
• RQ5 Bloomierフィルタは、プルーニングやクラスタリングのような重み簡素化技術と効果的に組み合わせられるか。

主な発見

• Weightlessは、LeNet5のFC-0層で最大496倍の圧縮を達成し、モデル精度に影響を与えない。
• Deep Compressionと比較して、圧縮比が最大1.51倍優れており、特に高スパースなモデルで顕著な改善を示す。
• Deep Compressionと比較して、スパarsityが増加するに従い、Weightlessははるかに優れたスケーリング性能を示し、より積極的なプルーニングが施されたモデルでも優れた性能を発揮する。
• 再訓練後、Bloomierフィルタ符号化によりLeNet-300-100モデルのトップ-1精度が2.0パーセンテージポイント向上し、誤差低減の有効性が裏付けられた。
• Bloomierフィルタ表現に対して算術符号化を適用し、CSR表現に対してハフマン符号化を適用することで、さらに符号化サイズを削減し、送信および保存効率を向上させた。
• 極端なプルーニングに対しても本手法は有効であり、残存する重みの冗長性が高精度な損失あり符号化を可能にしていることが示された。