[論文レビュー] A Programmable Approach to Model Compression.

V. Roshan Joseph, Saurav Muralidharan+3 more|arXiv (Cornell University)|Nov 6, 2019

Machine Learning and Data Classification参考文献 29被引用数 6

ひとこと要約

この論文では、サンプル効率の良い制約付きベイズ最適化を用いて、ニューラルネットワーク圧縮のための最適なスパarsity比を自動で発見する、プログラマブルなモデル圧縮システムであるCondensaを紹介する。Pythonでカスタム圧縮戦略を組み合わせられるようにすることで、1回の探索でたった10サンプルで、最大65倍のメモリ削減と2.22倍のスループット向上を達成している。

ABSTRACT

Deep neural networks frequently contain far more weights, represented at a higher precision, than are required for the specific task which they are trained to perform. Consequently, they can often be compressed using techniques such as weight pruning and quantization that reduce both model size and inference time without appreciable loss in accuracy. Compressing models before they are deployed can therefore result in significantly more efficient systems. However, while the results are desirable, finding the best compression strategy for a given neural network, target platform, and optimization objective often requires extensive experimentation. Moreover, finding optimal hyperparameters for a given compression strategy typically results in even more expensive, frequently manual, trial-and-error exploration. In this paper, we introduce a programmable system for model compression called Condensa. Users programmatically compose simple operators, in Python, to build complex compression strategies. Given a strategy and a user-provided objective, such as minimization of running time, Condensa uses a novel sample-efficient constrained Bayesian optimization algorithm to automatically infer desirable sparsity ratios. Our experiments on three real-world image classification and language modeling tasks demonstrate memory footprint reductions of up to 65x and runtime throughput improvements of up to 2.22x using at most 10 samples per search. We have released a reference implementation of Condensa at this https URL.

研究の動機と目的

• 多様なニューラルネットワークやデプロイメントプラットフォームにおいて、モデル圧縮のハイパーパrameterを手動でチューニングする課題に対処すること。
• 自動的でサンプル効率の良い探索によって、最適な圧縮戦略を見つけるための計算コストと人的コストを削減すること。
• 柔軟で拡張可能なPythonベースのインターフェースを用いて、ユーザーがプログラマティックに複雑な圧縮戦略を組み立てられること。
• インフェンス時間やメモリフットプリントを最小限に抑えながら、モデルの精度を維持するための知的なハイパーパrameter探索を実現すること。
• 多様なタスクとハードウェアターゲットをサポートするスケーラブルで再利用可能なフレームワークを提供すること。

提案手法

• Condensaは、プルーニングと量子化のためのモジュラー演算子から構成されるPythonベースのDSLを用いて、ユーザーが圧縮戦略を定義できる。
• 圧縮探索問題を、精度制約の下で遅延またはモデルサイズを最小化する制約付き最適化問題として定式化する。
• 評価コストを最小限に抑えるために、新しいサンプル効率の良い制約付きベイズ最適化アルゴリズムを採用する。
• パフォーマンスフィードバックに基づいて、層ごとのスパarsity比を動的に調整し、確率的モデルを用いて最適な構成を予測する。
• 構造的でないスパarsityもサポートしており、圧縮のトレードオフに対して細かく制御できる。
• 既存のディープラーニングフレームワークと統合され、モデルトレーニングからデプロイメントまでエンドツーエンドの圧縮パイプラインをサポートする。

実験結果

リサーチクエスチョン

• RQ1 多様なニューラルネットワークやハードウェアプラットフォームにおいて、モデル圧縮を自動化することで、手動でのハイパーパrameterチューニングの必要性をどれだけ減らせるか？
• RQ2 精度を維持しながら、高品質な圧縮構成を発見するために必要な最小評価回数はどの程度か？
• RQ3 プログラマブルなインターフェースは、最適化効率を損なわせることなく、柔軟で合成可能な圧縮戦略を可能にするか？
• RQ4 サンプル効率の良い制約付きベイズ最適化は、モデル圧縮のための最適なスパarsity比を発見するためにどの程度有効か？
• RQ5 自動化された圧縮は、実世界のタスクにおいて、メモリフットプリントをどれだけ削減し、インフェンススループットを向上させられるか？

主な発見

• Condensaは、3つの実世界の画像分類および言語モデリングタスクにおいて、最大65倍のモデルメモリフットプリント削減を達成した。
• モデルの精度を維持したまま、インフェンススループットを最大2.22倍向上させた。
• 1回の探索でたった10サンプルの評価で最適な圧縮構成が発見され、高いサンプル効率を示した。
• 最小限のユーザー介入で、多様なアーキテクチャとタスクにわたってモデルを正常に圧縮できた。
• プログラマブルなインターフェースにより、ユーザーは簡単に再現可能で複雑なタスク固有の圧縮戦略を組み立てられた。
• 制約付きベイズ最適化アプローチは、収束速度と最終的な解の品質の両面でベースライン手法を上回った。