[論文レビュー] To Compress, or Not to Compress: Characterizing Deep Learning Model Compression for Embedded Inference

Qing Qin, Jie Ren+7 more|arXiv (Cornell University)|Oct 21, 2018

Advanced Neural Network Applications参考文献 19被引用数 7

ひとこと要約

本稿は、NVIDIA Jetson TX2組み込みプラットフォーム上で、モデル圧縮技術（ pruning と 量化 ）の包括的な実験的特徴付けを提供しており、11種類の多様なディープラーニングモデルを対象に、推論速度、エネルギー消費、モデルサイズ、精度への影響を評価している。圧縮の有効性はアーキテクチャおよびターゲットに強く依存しており、万能の最適設定は存在せず、アプリケーションの制約に応じた圧縮戦略の選定に役立つ実用的ガイドラインを提示している。

ABSTRACT

The recent advances in deep neural networks (DNNs) make them attractive for embedded systems. However, it can take a long time for DNNs to make an inference on resource-constrained computing devices. Model compression techniques can address the computation issue of deep inference on embedded devices. This technique is highly attractive, as it does not rely on specialized hardware, or computation-offloading that is often infeasible due to privacy concerns or high latency. However, it remains unclear how model compression techniques perform across a wide range of DNNs. To design efficient embedded deep learning solutions, we need to understand their behaviors. This work develops a quantitative approach to characterize model compression techniques on a representative embedded deep learning architecture, the NVIDIA Jetson Tx2. We perform extensive experiments by considering 11 influential neural network architectures from the image classification and the natural language processing domains. We experimentally show that how two mainstream compression techniques, data quantization and pruning, perform on these network architectures and the implications of compression techniques to the model storage size, inference time, energy consumption and performance metrics. We demonstrate that there are opportunities to achieve fast deep inference on embedded systems, but one must carefully choose the compression settings. Our results provide insights on when and how to apply model compression techniques and guidelines for designing efficient embedded deep learning systems.

研究の動機と目的

• 実世界の組み込みシステムにおけるモデル圧縮技術のパフォーマンストレードオフを理解すること。
• リソース制約のあるデバイス上で、pruning と 量化 が推論時間、エネルギー消費、モデルサイズ、精度に与える影響を評価すること。
• 組み込みディープラーニングワークロードにおいて、圧縮技術を効果的に適用する時期と方法を特定すること。
• アプリケーション固有の制約に基づいて、データ駆動型の最適化ガイドラインを提供すること。
• モデルサイズの削減が常に高速な推論をもたらすわけではないことの裏付けを示し、分野における仮定に疑問を呈すること。

提案手法

• 画像分類およびNLP分野の11種類の代表的DNNを用いて、NVIDIA Jetson TX2プラットフォーム上で広範な実験を実施した。
• 2つの主流な圧縮技術である、マグニチュードベースの pruning と、トレーニング後重量量子化（8ビットおよび4ビット精度）を適用した。
• 推論遅延、エネルギー消費、モデル保存サイズ、予測精度の各主要指標を、圧縮前後で測定・比較した。
• 多様なネットワークアーキテクチャにわたる圧縮行動を分析するため、定量的かつアーキテクチャを跨ぐ評価フレームワークを用いた。
• pruning と 量化 の併用効果を評価し、相乗効果を検証した。
• CNNやRNNを含む異なるネットワークタイプに対する圧縮の影響を分析し、アーキテクチャ固有のトレンドを同定した。

実験結果

リサーチクエスチョン

• RQ1 組み込みプラットフォーム上での多様なDNNアーキテクチャにおいて、pruning と 量化 が推論時間、エネルギー消費、モデルサイズ、精度に与える影響は何か？
• RQ2 圧縮によるモデルサイズの縮小は、組み込みデバイス上で常に推論を高速化するのか？
• RQ3 RNN や CNN のような特定のネットワークタイプにおいて、pruning と 量化 のどちらの圧縮技術がより良いトレードオフを提供するか？
• RQ4 pruning と 量化 を組み合わせた場合のパフォーマンスインパクトは何か？ また、量子化のオーバーヘッドがpruningの利点を上回る状況はいつ発生するか？
• RQ5 組み込みデプロイメントにおいて、サイズ・速度・精度をバランスさせるPareto最適な圧縮パrameter設定を特定できるか？

主な発見

• pruning は予測精度に対する細かい制御が可能であり、再帰構造を持つRNNに対して特に有効である。
• 量化は pruning よりもモデルサイズの削減に効果的だが、ハードウェア固有のメモリアクセスパターンのため、推論時間を必ずしも短くしない。
• 圧縮によるパフォーマンス向上は、下位のニューラルネットワークアーキテクチャに強く依存しており、万能の設定は存在しない。
• pruning と 量化 を組み合わせることで相乗効果を得られるが、その前提として量子化のオーバーヘッドがスパarsityの利点を相殺しないこと。
• モデルサイズの削減が必ずしも高速な推論をもたらすわけではない。一部の圧縮モデルでは、非効率なメモリアクセスや計算パターンにより、遅延が増加する場合がある。
• 予測の信頼性が求められるアプリケーション（例：監視）では、精度の制御が可能な pruning が好ましい。