[論文レビュー] WoodFisher: Efficient second-order approximations for model compression.

Sidak Pal Singh, Dan Alistarh|arXiv (Cornell University)|Apr 29, 2020

Advanced Neural Network Applications被引用数 14

ひとこと要約

WoodFisher は、ニューラルネットワーク圧縮のための逆ヘッシアンの効率的で高精度な近似を提案し、1ショットおよび段階的 pruning を可能にするために2次情報を利用することで、既存の手法を改善した。ImageNet ILSVRC において ResNet-50 および MobileNetV1 で最先端のテスト精度を達成し、圧縮品質および一般化性能の両面で先行研究を上回った。

ABSTRACT

Second-order information, in the form of Hessian- or Inverse-Hessian-vector products, is a fundamental tool for solving optimization problems. Recently, there has been significant interest in utilizing this information in the context of deep neural networks; however, relatively little is known about the quality of existing approximations in this context. Our work examines this question, identifies issues with existing approaches, and proposes a method called WoodFisher to compute a faithful and efficient estimate of the inverse Hessian. Our main application is to neural network compression, where we build on the classic Optimal Brain Damage/Surgeon framework. We demonstrate that WoodFisher significantly outperforms popular state-of-the-art methods for one-shot pruning. Further, even when iterative, gradual pruning is considered, our method results in a gain in test accuracy over the state-of-the-art approaches, for pruning popular neural networks (like ResNet-50, MobileNetV1) trained on standard image classification datasets such as ImageNet ILSVRC. We examine how our method can be extended to take into account first-order information, as well as illustrate its ability to automatically set layer-wise pruning thresholds and perform compression in the limited-data regime. The code is available at the following link, this https URL.

研究の動機と目的

• 深層ニューラルネットワークにおける信頼性の高い2次近似の欠如に取り組むこと、特にモデル圧縮の文脈において。
• ニューラルネットワーク最適化の文脈において、逆ヘッシアン推定の忠実性と効率性を向上させること。
• 正確な2次情報を利用することで、1ショットおよび段階的 pruning の性能を向上させること。
• 手動によるハイパーパramータチューニングに依存しない、自動的なレイヤーごとの pruning 閾値選択を可能にすること。

提案手法

• WoodFisher は、精度と計算コストのバランスを取った新しい近似スキームを用いて、忠実で効率的な逆ヘッシアンの推定を実現する。
• 構造的 pruning を可能にするために、Optimal Brain Damage/Surgeon フレームワークを高品質な2次情報の統合によって拡張する。
• 1次および2次情報の両方を統合して、pruning 決定を精緻化し、一般化性能を向上させる。
• 推定された曲率に基づいて、自動的にレイヤーごとの pruning 閾値を設定し、手動によるハイパーパramータチューニングを低減する。
• WoodFisher は、ResNet-50 や MobileNetV1 といった大規模モデルに対しても効率的にスケーリング可能であり、実用的導入を可能にする。
• 1ショットおよび反復的 pruning の両方をサポートし、テスト精度の一貫した向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークの文脈において、既存の逆ヘッシアン近似の精度はどの程度か？
• RQ2 より忠実で効率的な逆ヘッシアン近似は、モデル圧縮の結果を改善できるか？
• RQ3 2次情報の統合は、pruning 後のより良い一般化性能および高い精度をもたらすか？
• RQ4 WoodFisher は、手動チューニングを伴わずに最適なレイヤーごとの pruning 閾値を自動的に決定できるか？
• RQ5 低データ環境下において、WoodFisher のモデル圧縮性能はいかがな性能を示すか？

主な発見

• 1ショット pruning を用いた場合、ResNet-50 および MobileNetV1 の圧縮において、ImageNet ILSVRC で最先端のテスト精度を達成した。
• 反復的・段階的な pruning においても、WoodFisher は既存の最先端手法を上回るテスト精度を実現した。
• 先行手法と比較して、WoodFisher は逆ヘッシアンのより忠実で効率的な推定を提供した。
• WoodFisher は、手動によるハイパーパramータチューニングに依存しない、自動的なレイヤーごとの pruning 閾値選択を可能にした。
• 本手法は、限られた学習データ環境下でも頑健な性能を示し、限られたデータでも効果的な圧縮を可能にした。
• コードは公開されており、再現性およびさらなる研究を促進している。