[論文レビュー] Neural Network Compression Via Sparse Optimization

Tianyi Chen, Bo Ji+5 more|arXiv (Cornell University)|Nov 10, 2020

Advanced Neural Network Applications参考文献 32被引用数 6

ひとこと要約

本論文は、OBProx-SGアルゴリズムを用いたスパース最適化による新規ニューラルネットワーク圧縮フレームワークを提案し、最小限の精度低下で高いFLOPs削減を達成する。トレーニング中にスパース信号を再帰的に活用することで、CIFAR10用VGG16では最大7.2倍、ImageNet用ResNet50では2.9倍のFLOPs削減が可能となり、それぞれトップ1精度が91.2%および75.1%を維持する。

ABSTRACT

The compression of deep neural networks (DNNs) to reduce inference cost becomes increasingly important to meet realistic deployment requirements of various applications. There have been a significant amount of work regarding network compression, while most of them are heuristic rule-based or typically not friendly to be incorporated into varying scenarios. On the other hand, sparse optimization yielding sparse solutions naturally fits the compression requirement, but due to the limited study of sparse optimization in stochastic learning, its extension and application onto model compression is rarely well explored. In this work, we propose a model compression framework based on the recent progress on sparse stochastic optimization. Compared to existing model compression techniques, our method is effective and requires fewer extra engineering efforts to incorporate with varying applications, and has been numerically demonstrated on benchmark compression tasks. Particularly, we achieve up to 7.2 and 2.9 times FLOPs reduction with the same level of evaluation accuracy on VGG16 for CIFAR10 and ResNet50 for ImageNet compared to the baseline heavy models, respectively.

研究の動機と目的

• モバイルおよびクラウドデプロイメントにおけるディープニューラルネットワークの推論コストを低減する課題に対処する。
• ヒューリスティック的またはエンジニアリングに依存する圧縮手法の限界を乗り越えるために、スパース最適化を活用する。
• 最近の確率的スパース最適化分野の進展をモデル圧縮に応用可能かどうかを検討する。
• ユーザーの干渉を最小限に抑えながら、冗長なフィルタを自動で同定・削除するフレームワークを開発する。
• スパースに配慮したトレーニングを通じて、高い圧縮比を達成するとともに、モデルの精度を保持する。

提案手法

• 最近の確率的スパース最適化分野の進展であるOBProx-SGアルゴリズムを活用し、ネットワーク重みに構造的スパarsityを誘導する。
• 計算されたスパース信号に基づき、各層のスパース比を動的に調整する再帰的交互スキームを採用する。
• ℓ₁正則化を適用してゼロ値の重みを促進し、冗長なフィルタの有効な削除を可能にする。
• 任意の層での過剰な削除を防ぐために、圧縮比の下限ε = 0.1を導入し、構造的安定性を確保する。
• ResNet50における残差ブロックを原子的単位として扱い、削除中に残差接続を保持する。
• 将来の研究としてHSPGを用いたグループスパース同定を活用し、完全に冗長な隠れユニットを削除する。

実験結果

リサーチクエスチョン

• RQ1 最近の確率的スパース最適化分野の進展を、ディープニューラルネットワーク圧縮に効果的に応用できるか？
• RQ2 非凸的かつ確率的なトレーニング中に、スパース信号を正確に同定・活用することで、有効な削除が可能か？
• RQ3 スパース最適化に基づく手法が、従来のヒューリスティック的またはルールベースのプルーニング手法よりも優れたFLOPs削減を達成できるか？
• RQ4 スパース駆動型プルーニングを用いた過酷な圧縮において、モデル精度をどの程度維持できるか？
• RQ5 本手法は、さまざまなベンチマークで異なるアーキテクチャ（VGG16およびResNet50）にどのようにスケーリングするか？

主な発見

• 提案されたRSP手法は、CIFAR10用VGG16で7.2倍のFLOPs削減を達成し、トップ1精度91.2%を維持しており、ベースラインモデルを上回る。
• ImageNet用ResNet50では、FLOPsを2.9倍削減し、トップ1精度75.1%を達成しており、比較されたすべての手法を上回る。
• 本手法は、最小限の性能低下で競争力のある精度を維持しており、CIFAR10では過酷なプルーニングにもかかわらず、ベースラインより僅か0.4%低いにとどまる。
• 両ベンチマークにおいて、RBP や ThiNet-50 といった最先端手法に比べ、FLOPs削減と精度保持の両面でRSPが優れている。
• ヒューリスティック的または強化学習ベースのアプローチと比較して、より少ないエンジニアリング作業で、さまざまなアプリケーションに適応可能である。
• スパースに配慮した最適化の活用により、マグニチュードベースやランクベースのプルーニング手法よりも、より効果的な冗長性除去が可能である。