[論文レビュー] Rate Distortion For Model Compression: From Theory To Practice

Weihao Gao, Yuhan Liu+2 more|arXiv (Cornell University)|Oct 9, 2018

Advanced Neural Network Applications参考文献 31被引用数 10

ひとこと要約

この論文は、レート・ドリフト理論に基づくフレームワークを提案し、勾配とヘッセ行列の情報を組み込むことで、プルーニングと量子化を改善する新しい目的関数を導入する。1層隠れ層のReLUネットワークに対して最適性を証明し、MNISTおよびCIFARデータセットにおいて優れた圧縮-精度トレードオフを示す。

ABSTRACT

The enormous size of modern deep neural networks makes it challenging to deploy those models in memory and communication limited scenarios. Thus, compressing a trained model without a significant loss in performance has become an increasingly important task. Tremendous advances has been made recently, where the main technical building blocks are parameter pruning, parameter sharing (quantization), and low-rank factorization. In this paper, we propose principled approaches to improve upon the common heuristics used in those building blocks, namely pruning and quantization. We first study the fundamental limit for model compression via the rate distortion theory. We bring the rate distortion function from data compression to model compression to quantify this fundamental limit. We prove a lower bound for the rate distortion function and prove its achievability for linear models. Although this achievable compression scheme is intractable in practice, this analysis motivates a novel model compression framework. This framework provides a new objective function in model compression, which can be applied together with other classes of model compressor such as pruning or quantization. Theoretically, we prove that the proposed scheme is optimal for compressing one-hidden-layer ReLU neural networks. Empirically, we show that the proposed scheme improves upon the baseline in the compression-accuracy tradeoff.

研究の動機と目的

• レート・ドリフト理論を用いて、モデル圧縮の根本的理論的限界を確立すること。
• ヒューリスティック手法（プルーニングや量子化など）の改善に寄与する、体系的な目的関数を構築すること。
• 1層隠れ層のReLUニューラルネットワークに対して、提案された目的関数の最適性を証明すること。
• 実世界のモデルに対して、提案手法の実証的妥当性を検証し、圧縮-精度トレードオフの向上を示すこと。
• 深層学習における理論的限界と実用的圧縮技術のギャップを埋めること。

提案手法

• モデル圧縮を、モデル重みを表現するのに必要なビット数（レート）と、元のモデルと圧縮モデルの間の期待損失差（歪み）との間のレート・ドリフト問題として形式化する。
• レート・ドリフト関数の下界を導出し、最適な量子化および符号化戦略を用いて線形モデルに対してその達成可能性を証明する。
• 損失関数の2次近似に基づく重みの重要性行列を提案し、勾配およびヘッセ行列の両方の項を組み込む。
• 勾配＋ヘッセ行列の目的関数を、プルーニングおよび量子化のための教師あり基準として用い、期待二乗損失差を最小化する。
• グリーディプルーニングと交互最小化法を用い、提案された重要性指標に従って量子化を実行する。
• 再訓練を伴わずに、既存の圧縮パイプラインに新しい目的関数を統合し、即座に適用可能な改善を可能にする。

実験結果

リサーチクエスチョン

• RQ1 レートと歪みの観点から、モデル圧縮の根本的理論的限界は何か？
• RQ2 ニューラルネットワーク圧縮において、レート・ドリフト関数は実際の場面で達成可能か？
• RQ3 レート・ドリフト理論を活用して、より優れたプルーニングおよび量子化アルゴリズムを設計できるか？
• RQ4 提案された目的関数は、1層隠れ層のReLUネットワークに対して最適か？
• RQ5 提案手法は、実世界の深層学習モデルにおける圧縮-精度トレードオフを改善するか？

主な発見

• レート・ドリフト関数の下界が証明され、最適な符号化および量子化戦略を用いることで線形モデルに対して達成可能であることが示された。
• 提案された勾配＋ヘッセ行列の目的関数は、ベースライン、勾配のみ、ヘッセ行列のみの目的関数を上回る性能をプルーニングおよび量子化の両実験で示した。
• MNIST用の全結合ネットワークにおいて、提案手法はベースラインと同等の圧縮比で高いテスト精度を達成した。
• CIFAR-10用の畳み込みネットワークにおいて、提案手法はより高い圧縮比を維持しながらも高い精度を維持し、アーキテクチャを越えて堅牢であることを示した。
• プルーニングおよび量子化が提案された目的関数に従う場合、1層隠れ層のReLUネットワークに対して理論的に最適であることが示された。
• 実験結果から、複数のデータセットおよびネットワークタイプにおいて一貫した改善が得られ、理論に基づくアプローチの実用的有用性が検証された。