[論文レビュー] Scalable Model Compression by Entropy Penalized Reparameterization

Deniz Oktay, Johannes Ballé+2 more|arXiv (Cornell University)|Jun 15, 2019

Advanced Image and Video Retrieval Techniques参考文献 35被引用数 8

ひとこと要約

この論文は、ニューラルネットワークの重みを潜在空間に再パラメータ化し、エントロピー正則化付きスカラークオンタイゼーションを適用し、算術符号化を用いて圧縮する、スケーラブルでエンドツーエンドのモデル圧縮手法を提案する。単一のトレーニングステージと複雑なマルチステージ的手法を一切用いずに、MNIST、CIFAR-10、ImageNetの全データセットで最先端の圧縮性能を達成している。

ABSTRACT

We describe a simple and general neural network weight compression approach, in which the network parameters (weights and biases) are represented in a "latent" space, amounting to a reparameterization. This space is equipped with a learned probability model, which is used to impose an entropy penalty on the parameter representation during training, and to compress the representation using a simple arithmetic coder after training. Classification accuracy and model compressibility is maximized jointly, with the bitrate--accuracy trade-off specified by a hyperparameter. We evaluate the method on the MNIST, CIFAR-10 and ImageNet classification benchmarks using six distinct model architectures. Our results show that state-of-the-art model compression can be achieved in a scalable and general way without requiring complex procedures such as multi-stage training.

研究の動機と目的

• マルチステージトレーニングや複雑な手順を必要とせず、単純で汎用的かつスケーラブルなニューラルネットワーク重みの圧縮手法を開発すること。
• 学習された潜在空間におけるエントロピーペナルティを導入することで、モデルの精度と圧縮可能性を同時に最適化すること。
• 量子化されたパラメータの効率的な算術符号化により、高い圧縮比を実現しながら分類精度を維持すること。
• プリンニング、スパース化、またはコンテキスト適応符号化といった複雑な技術が、最先端の圧縮性能を達成するために必要でないことを示すこと。
• ResNet-50のような大規模モデルに対応可能な、特許フリーで公開可能な実装を提供すること。

提案手法

• 微分可能な変換を用いて、モデル重みを学習された潜在空間に再パラメータ化し、表現の柔軟性を向上させること。
• 潜在空間におけるスカラークオンタイゼーションを適用し、効率的なパラメータの離散化を実現し、エントロピーモデリングを容易にする。
• トレーニング中にエントロピーペナルティを導入することで、低ビットレートの表現を促進し、高い精度を維持することを奨励する。
• 潜在表現の上に学習された確率モデルを導入し、エントロピー符号化を最適化し、ビットレートを最小化する。
• トレーニング後、学習済みの確率モデルを活用して、量子化済みの潜在表現を算術符号化により圧縮すること。
• すべてのモジュールを1段階のエンドツーエンドトレーニングで最適化し、ハイパーパrameter制御のトレードオフにより、精度と圧縮サイズの両方を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 マルチステージトレーニングや複雑な手順を一切用いずに、単一ステージでエンドツーエンドで学習可能なフレームワークが、最先端のモデル圧縮を達成できるか？
• RQ2 学習された潜在空間への重みの再パラメータ化は、元のパrameter空間での直接的クオンタイゼーションと比較して、スカラークオンタイゼーションの柔軟性と効率性を向上させるか？
• RQ3 潜在空間におけるエントロピー正則化は、多様なアーキテクチャとデータセットにおいて、モデルの精度と圧縮サイズのバランスをどの程度効果的に調整できるか？
• RQ4 この手法は、ImageNetにおけるResNet-50のような大規模モデルに対しても、効果的にスケーリング可能で、高い圧縮効率を維持できるか？
• RQ5 プリンニング、スパース化、またはコンテキスト適応符号化といった技術に依存せずに、優れた圧縮性能を達成できるか？

主な発見

• 本手法は、MNIST、CIFAR-10、ImageNetの全データセットで、マルチステージトレーニングや複雑な手順を用いる先行手法を上回る最先端のモデル圧縮性能を達成している。
• ResNet-50を用いたImageNetでは、高い圧縮比を維持しながらも、競争力のあるトップ-1精度を達成しており、大規模モデルへのスケーラビリティを示している。
• 4段階のトレーニングと事前定義されたクオンタイゼーションを用いる[11]のような手法と比較して、本手法はより低いビットレートで高い精度を達成している。
• 潜在空間における学習済みの確率モデルの活用により、ナーブなクオンタイゼーションや固定分布の符号化と比較して、より効率的なエントロピー符号化が可能となり、ビットレートが低減されている。
• 本手法は単一のトレーニングステージで十分であり、任意のニューラルネットワークアーキテクチャと互換性があるため、広範な適用性を有している。
• 本手法は特許フリーであり、公開可能で、TensorFlow Compression経由でコードが提供されており、実用性が高まっている。