[論文レビュー] Model compression as constrained optimization, with application to neural nets. Part I: general framework

Miguel Á. Carreira-Perpiñán|arXiv (Cornell University)|Jul 5, 2017

Sparse and Compressive Sensing Techniques参考文献 33被引用数 26

ひとこと要約

本稿では、量子化、剪定、低ランク分解を統一的に取り扱える一般化された制約付き最適化フレームワークを提案し、ニューラルネットワークモデル圧縮のためのものである。学習・圧縮（LC）アルゴリズムを導入し、非圧縮モデルの学習と増大ラグランジュ法による圧縮を交互に実行することで、標準的な仮定の下で局所最適な圧縮モデルへの収束を保証する。

ABSTRACT

Compressing neural nets is an active research problem, given the large size of state-of-the-art nets for tasks such as object recognition, and the computational limits imposed by mobile devices. We give a general formulation of model compression as constrained optimization. This includes many types of compression: quantization, low-rank decomposition, pruning, lossless compression and others. Then, we give a general algorithm to optimize this nonconvex problem based on the augmented Lagrangian and alternating optimization. This results in a "learning-compression" algorithm, which alternates a learning step of the uncompressed model, independent of the compression type, with a compression step of the model parameters, independent of the learning task. This simple, efficient algorithm is guaranteed to find the best compressed model for the task in a local sense under standard assumptions. We present separately in several companion papers the development of this general framework into specific algorithms for model compression based on quantization, pruning and other variations, including experimental results on compressing neural nets and other models.

研究の動機と目的

• モバイル端末や組み込みシステムなどリソース制約のあるデバイスへの大規模かつ高精度なニューラルネットワークの導入に向けた課題に対処すること。
• 量子化、剪定、低ランク分解といった多様なモデル圧縮技術を、一つの数学的枠組みで統一的に扱うこと。
• 学習と圧縮ステップを交互に実行する汎用アルゴリズムを開発し、局所最適な圧縮モデルへの収束を保証すること。
• 特定の圧縮手法に依存しない、標準的な仮定の下での提案アルゴリズムの収束保証を理論的に与えること。
• 別紙で異なる圧縮形式向けの特化型アルゴリズムを導出する基盤を構築すること。

提案手法

• モデル圧縮を制約付き最適化問題として定式化し、重みの量子化やスパarsityといった圧縮制約を最適化フレームワークに組み込む。
• 非凸で制約付き最適化を扱うために増大ラグランジュ法を用い、学習と圧縮ステップの間で交互最小化を実現する。
• 学習フェーズ（非圧縮モデルの学習）と圧縮フェーズ（制約下でのパラメータ変換）を分離する学習・圧縮（LC）アルゴリズムを導入する。
• 増大ラグランジュを最小化するために逐次最適化を適用し、学習ステップでは標準的な訓練法（例：SGD）を、圧縮ステップでは射影または写像による制約の強制を実施する。
• 学習ステップでRobbins-Monroステップサイズを用いることで、確率的勾配ノイズのもとで局所最適点への収束を保証する。
• 圧縮メカニズムをブラックボックスとして扱い、コアアルゴリズムを変更せずにさまざまな圧縮技術を組み込めるようにする。

実験結果

リサーチクエスチョン

• RQ1 量子化、剪定、低ランク分解といった多様なモデル圧縮技術を、一つの最適化定式化で統一的に扱うフレームワークを構築できるか？
• RQ2 学習フェーズと圧縮フェーズをどのように交互に実行すれば、局所最適な圧縮モデルへの収束を保証できるか？
• RQ3 非凸で制約付き最適化の下で、学習・圧縮アルゴリズムの収束を保証する理論的条件は何か？
• RQ4 提案フレームワークは、最適化問題における制約として表現可能な任意の圧縮手法に適用可能か？
• RQ5 既存の特化型圧縮手法と比較して、LCアルゴリズムは最適性と収束保証においてどのように優れているか？

主な発見

• 標準的な仮定（Robbins-Monroステップサイズ、有界な勾配ノイズ）の下で、提案された学習・圧縮アルゴリズムは局所最適な圧縮モデルへの収束が保証される。
• 制約付き最適化問題として複数の圧縮技術を表現することで、フレームワークは一元的なアルゴリズムパイプラインを可能にする。
• アルゴリズムは非圧縮モデルの訓練と圧縮の間を交互に実行し、圧縮ステップは学習タスクに依存せず、学習ステップは圧縮タイプに依存しない。
• 増分勾配法と確率的誤差解析を用いて理論的収束を確立し、増大ラグランジュの停留点への収束を示している。
• 確率的勾配降下法を用いても、ノイズが標準的な条件を満たし、ステップサイズがRobbins-Monroである限り、学習ステップの収束理論は成立する。
• フレームワークにより、量子化や剪定といったさまざまな圧縮メカニズムをプラグイン可能にし、別紙でそれらの実装と実験的評価が詳細に記載されている。