[論文レビュー] Compressibility Loss for Neural Network Weights

Çağlar Aytekin, Francesco Cricri+1 more|arXiv (Cornell University)|May 3, 2019

Neural Networks and Applications参考文献 7被引用数 7

ひとこと要約

この論文では、L1ノルムとL2ノルムの比に基づく圧縮性損失を導入し、非常に圧縮可能な重みを持つニューラルネットワークの学習を目的としている。この損失を最小化することで、スパarsityと低エントロピーの非ゼロ重みが同時に誘発され、最先端の圧縮比—98%のスパarsityで最大102.76—を達成しながら、競争力のある精度を維持することができる。

ABSTRACT

In this paper we apply a compressibility loss that enables learning highly compressible neural network weights. The loss was previously proposed as a measure of negated sparsity of a signal, yet in this paper we show that minimizing this loss also enforces the non-zero parts of the signal to have very low entropy, thus making the entire signal more compressible. For an optimization problem where the goal is to minimize the compressibility loss (the objective), we prove that at any critical point of the objective, the weight vector is a ternary signal and the corresponding value of the objective is the squared root of the number of non-zero elements in the signal, thus directly related to sparsity. In the experiments, we train neural networks with the compressibility loss and we show that the proposed method achieves weight sparsity and compression ratios comparable with the state-of-the-art.

研究の動機と目的

• 単なるスパarsityを凌駕するニューラルネットワーク重みの圧縮性を向上させる学習目的を構築すること。
• 理論的および実験的に、圧縮性損失を最小化することでスパarsityと非ゼロ重み分布の低エントロピーが同時に促進されることを示すこと。
• モデルの精度を維持したまま、最先端の手法と同等またはそれを上回る圧縮比を達成すること。
• カリキュラム学習（損失重みを段階的に増加）がモデル性能および圧縮性に与える影響を調査すること。
• スパarsityや量子化の観点からの既存手法と比較し、全体的な圧縮効率の観点から本手法の有効性を検証すること。

提案手法

• 圧縮性損失は $ L(\mathbf{x}) = \frac{||\mathbf{x}||_1}{||\mathbf{x}||_2} $ として定義され、元々は負のスパarsityを測る指標として提案された。
• 理論的分析により、この損失の任意の臨界点において、重みベクトルは $\{-c, 0, c\}$ の値をとる三値化構造を示すことが証明された。ここで $ c = \frac{||\mathbf{x}||_2^2}{||\mathbf{x}||_1} $ である。
• 損失関数は、スパarsityと非ゼロ重みの低エントロピーを促進することで、全体の圧縮性を向上させる。
• 非ゼロ重みに対して、k-meansクラスタリング（畳み込み層では256クラスタ、全結合層では32クラスタ）を用いたポストトレーニング量子化を適用した。
• マスク圧縮戦略を採用し、非ゼロ重みの位置とその値のみを保存することで、圧縮効率を向上させた。
• カリキュラム学習アプローチを用い、損失重み $ \lambda $ をエポックごとに0から0.007へ段階的に増加させ、学習の安定化と高スパarsityレベルでの性能向上を図った。

実験結果

リサーチクエスチョン

• RQ1 圧縮性損失 $ \frac{||\mathbf{x}||_1}{||\mathbf{x}||_2} $ を最小化することで、スパースかつ低エントロピーの重み分布が得られるか？
• RQ2 圧縮性損失は臨界点で三値重み構造を誘発するか？その理論的根拠は何か？
• RQ3 高スパarsityレベルにおける圧縮比と精度の観点から、本手法は最先端の手法と比較してどのように差をつけるか？
• RQ4 訓練中に損失重みを段階的に増加させることで、モデルのロバスト性と圧縮性能が向上するか？
• RQ5 単にスパarsityや量子化に焦点を当てた手法と比較して、本手法はより優れた圧縮効率を達成できるか？

主な発見

• 圧縮性損失は臨界点で三値重み構造を誘発し、非ゼロ重みはゼロの周りで対称な2つの値をとる。
• 98%のスパarsityにおいて、本手法は102.76の圧縮比を達成し、極端なスパarsityレベルにおいてベースライン手法を顕著に上回った。
• カリキュラム学習（ラムプ設定）を用いることで、97%のスパarsityで85%以上の精度を維持し、98%のスパarsityでは76.57%の精度を達成し、ロバスト性を示した。
• UDNNと比較して、精度-圧縮比トレードオフにおいて本手法が優れており、同等または高い圧縮比で高い精度を達成した。
• Smallify や TDrop は中程度のスパarsityレベルで高い精度を達成するが、CNET はラムプ学習を用いることで極端なスパarsityレベルでも優れた性能を維持し、優れた圧縮性を示した。
• マスク圧縮は圧縮効率を向上させ、標準圧縮手法の13.32と比較して15.05の圧縮比を達成し、パイプラインにおける有効性を裏付けた。