[論文レビュー] Minimal Random Code Learning: Getting Bits Back from Compressed Model Parameters

Marton Havasi, Robert Peharz+1 more|arXiv (Cornell University)|Sep 30, 2018

Domain Adaptation and Few-Shot Learning参考文献 17被引用数 10

ひとこと要約

本稿では、重みの変分後期分布からのランダムサンプルを符号化することで、ビットバックの議論を用いて理論的圧縮限界に近い圧縮を達成する、ニューラルネットワーク圧縮の新規手法Minimal Random Code Learning (MIRACLE)を提案する。KLダイバージェンスの制御を通じて、モデル性能と圧縮レートの両方を直接最適化することにより、MNISTおよびCIFAR-10ベンチマークでパレート効率の新しい最良水準を確立した。

ABSTRACT

While deep neural networks are a highly successful model class, their large memory footprint puts considerable strain on energy consumption, communication bandwidth, and storage requirements. Consequently, model size reduction has become an utmost goal in deep learning. A typical approach is to train a set of deterministic weights, while applying certain techniques such as pruning and quantization, in order that the empirical weight distribution becomes amenable to Shannon-style coding schemes. However, as shown in this paper, relaxing weight determinism and using a full variational distribution over weights allows for more efficient coding schemes and consequently higher compression rates. In particular, following the classical bits-back argument, we encode the network weights using a random sample, requiring only a number of bits corresponding to the Kullback-Leibler divergence between the sampled variational distribution and the encoding distribution. By imposing a constraint on the Kullback-Leibler divergence, we are able to explicitly control the compression rate, while optimizing the expected loss on the training set. The employed encoding scheme can be shown to be close to the optimal information-theoretical lower bound, with respect to the employed variational family. Our method sets new state-of-the-art in neural network compression, as it strictly dominates previous approaches in a Pareto sense: On the benchmarks LeNet-5/MNIST and VGG-16/CIFAR-10, our approach yields the best test performance for a fixed memory budget, and vice versa, it achieves the highest compression rates for a fixed test performance.

研究の動機と目的

• モバイルおよびエッジアプリケーションにおける大規模ディープニューラルネットワークの高コストなメモリ使用量とエネルギー消費を低減すること。
• 固定された1つの決定的重み集合に依存する従来手法の非効率な圧縮性能を克服すること。
• 深層ネットワークの過剰パラメータ化の特徴を活用し、優れた重みの分布の中から「安価な」重み設定を選択すること。
• トレーニング中にモデル性能と圧縮レートの両方を明示的かつ直接制御できること。
• 実装可能で実用的な符号化方式を用いて、重み符号化の情報理論的下界に近い圧縮レートを達成すること。

提案手法

• 本手法は、1つの決定的重みセットではなく、ネットワーク重み全体の完全な変分後期分布を学習する。
• この変分後期分布からのランダムサンプルを、ビットバックの議論を活用して近似的に最適な圧縮を達成する符号化方式で符号化する。
• 符号化コストは、変分後期分布と事前分布のKLダイバージェンスにほぼ等しく、これはトレーニング中に最小化される。
• 実用的なアルゴリズムを設計し、効率的に符号化可能な変分分布からの近似サンプルを生成する。
• 圧縮レートはKLダイバージェンスペナルティ項によって明示的に制御され、これによりコード長と直接関連づけられる。
• 局所的な符号化目的と反復的変分更新を用いることで、性能と圧縮の両立を図る。

実験結果

リサーチクエスチョン

• RQ1 固定された1つの決定的重みセットではなく、完全な変分後期分布からのランダムサンプルを符号化することで、従来手法より高い圧縮レートを達成できるか？
• RQ2 ターゲットの同時符号化を要件としない状況でも、ビットバックの議論をニューラルネットワーク圧縮に実用的に実現できる範囲はどの程度か？
• RQ3 1つのハイパーパrameter（例：KLペナルティ）を用いて、モデルの精度と圧縮サイズの両方を明示的かつ直接制御できるか？
• RQ4 実用的な圧縮手法は、重み符号化の理論的情報理論的下限にどの程度近づけるか？
• RQ5 過剰パラメータ化の特徴を活用し、優れた重みの分布の中から「安価な」重み設定を選択することで、モデルサイズとテスト精度のパレートトレードオフが改善されるか？

主な発見

• LeNet-5/MNISTでは、MIRACLEが3.03 kB（555倍圧縮）でテスト誤差0.69%を達成し、ベイジアン圧縮（2.3 kBで1.0%誤差）とディープ圧縮（44 kBで0.8%誤差）を上回った。
• 同じモデルにおいて、MIRACLEは1110倍圧縮（1.52 kB）で0.96%のテスト誤差を達成し、圧縮効率においてすべての先行手法を上回った。
• VGG-16/CIFAR-10では、MIRACLEが452倍圧縮（135 kB）で10.0%のテスト誤差を達成し、ベイジアン圧縮（95倍、8.6%）および他のベースラインを著しく上回った。
• KLペナルティを変化させることで、明確なパレートフロンティアを構築し、任意のサイズに対してより高い精度、任意の精度に対してより高い圧縮を達成する優れたトレードオフを示した。
• 両ベンチマークにおいて、MIRACLEはパレートの観点から従来手法を厳密に支配する最先端のパフォーマンスを達成した。
• 理論的分析により、本手法の符号化効率が、ビットバックの議論で定義される情報理論的下限に近いことが確認された。