[論文レビュー] Smallify: Learning Network Size while Training

Guillaume Leclerc, Manasi Vartak+3 more|arXiv (Cornell University)|Jun 10, 2018

Machine Learning and Data Classification参考文献 19被引用数 9

ひとこと要約

Smallifyは、学習時における新しい手法であり、学習可能なSwitchLayerを用いて、ニューラルネットワークのサイズ、推論速度、精度を同時に最適化する。この手法により、標準的な学習法と比較して、最大35倍のモデルサイズ削減と6倍の高速化を達成しながら、精度の損失は最小限に抑えられる。

ABSTRACT

As neural networks become widely deployed in different applications and on different hardware, it has become increasingly important to optimize inference time and model size along with model accuracy. Most current techniques optimize model size, model accuracy and inference time in different stages, resulting in suboptimal results and computational inefficiency. In this work, we propose a new technique called Smallify that optimizes all three of these metrics at the same time. Specifically we present a new method to simultaneously optimize network size and model performance by neuron-level pruning during training. Neuron-level pruning not only produces much smaller networks but also produces dense weight matrices that are amenable to efficient inference. By applying our technique to convolutional as well as fully connected models, we show that Smallify can reduce network size by 35X with a 6X improvement in inference time with similar accuracy as models found by traditional training techniques.

研究の動機と目的

• これらの指標を個別に最適化することで生じる、モデルサイズ、推論速度、精度の最適でないトレードオフを是正すること。
• スパース行列演算による推論速度の低下を引き起こす、トレーニング後処理の圧縮技術の限界を克服すること。
• 1つのトレーニングプロセス内で、ネットワークアーキテクチャ、精度、効率をエンドツーエンドで最適化すること。
• トレーニング後に大規模モデルを圧縮するのではなく、最初から小さく高性能なアーキテクチャを探索すること。

提案手法

• トレーニング中にニューロンのオン/オフを学習するSwitchLayerを導入し、動的ネットワークサイズの調整を可能にする。
• 微分可能ゲーティング機構を用いて、ニューロンの重要度とモデル性能を同時に最適化する。
• ニューロンレベルのプルーニングを、ニューロンごとのバイナリマスク（オン/オフ）を学習することで実現し、プルーニング後に密行列（dense weight matrices）が得られる。
• グループLASSO正則化の緩和版を用いて、スパースなニューロン活性化パターンを促進する。
• 推論前にSwitchLayersを削除することで、ランタイムのオーバーヘッドを追加しない。
• ネットワークサイズを1つのハイパーパrameterとして扱い、アーキテクチャ探索を簡素化する。

実験結果

リサーチクエスチョン

• RQ1 トレーニング中にモデル精度と推論効率とを同時に最適化することで、後処理ではなく、ネットワークサイズを最適化できるか？
• RQ2 トレーニング中に動的ニューロンプルーニングを適用することで、標準的な学習法や後処理圧縮と比較して、より小さく、速く、正確なモデルが得られるか？
• RQ3 得られたモデルが、GPU上で効率的な推論を可能にする密行列（dense weight matrices）を維持できるか？
• RQ4 既存の圧縮技術と比較して、モデルサイズ、速度、精度の観点で、本手法はどのように優れているか？
• RQ5 本手法とグループLASSO正則化との理論的関係は何か？

主な発見

• Smallifyは、標準的な学習法と比較して、CIFAR-10で最大35倍のモデルサイズ削減と最大6倍の推論速度向上を達成し、精度はわずか1%の低下に抑えられた。
• CIFAR-10において、Smallifyは標準的な学習モデルと同等の精度を達成しながら、ネットワークサイズを2.2倍小さくした。
• 本手法は、プルーニング後に密行列（dense weight matrices）を生成するため、従来のプルーニング手法とは異なり、GPU上で効率的な推論が可能である。
• 提案手法は、パラメータの符号対称性により複数のグローバル最小値を持つ、緩和されたグループLASSOの定式化と理論的に同等である。
• SwitchLayersは推論前に安全に削除可能であり、ランタイムコストを追加しない。
• 本手法により、トレーニング後に圧縮するのではなく、最初から小さく高性能なアーキテクチャを探索できる。