[論文レビュー] Joint Multi-Dimension Pruning

Zechun Liu, Xiangyu Zhang+5 more|arXiv (Cornell University)|May 18, 2020

Advanced Neural Network Applications参考文献 50被引用数 6

ひとこと要約

JointPruningは、空間的・深さ的・チャネル的次元を同時に最適化する、エンド・ツー・エンドのプルーニングフレームワークを提案する。適応的確率的勾配推定を用いることで、空間的・深さ的・チャネル的次元のネットワークスパarsityを共同で最適化する。ImageNetにおける極めて高い圧縮比下で、MobileNet V1およびV2において、先行手法よりもそれぞれ2.5%および2.6%の精度向上を達成した。

ABSTRACT

We present joint multi-dimension pruning (named as JointPruning), a new perspective of pruning a network on three crucial aspects: spatial, depth and channel simultaneously. The joint strategy enables to search a better status than previous studies that focused on individual dimension solely, as our method is optimized collaboratively across the three dimensions in a single end-to-end training. Moreover, each dimension that we consider can promote to get better performance through colluding with the other two. Our method is realized by the adapted stochastic gradient estimation. Extensive experiments on large-scale ImageNet dataset across a variety of network architectures MobileNet V1&V2 and ResNet demonstrate the effectiveness of our proposed method. For instance, we achieve significant margins of 2.5% and 2.6% improvement over the state-of-the-art approach on the already compact MobileNet V1&V2 under an extremely large compression ratio.

研究の動機と目的

• 既存のプルーニング手法がチャネルや深さの1つまたは2つの次元にのみ最適化しているという制限を解決すること。
• 空間的・深さ的・チャネル的次元を共同でプルーニングすることで得られる相乗効果の可能性を調査すること。
• すべての3次元で共同最適化が可能な統一的でエンド・ツー・エンドで学習可能なフレームワークを開発すること。
• 特にMobileNet V1/V2のようなコンactモデルにおいて、顕著な精度低下を伴わずに高い圧縮比を達成すること。

提案手法

• JointPruningは、1つの学習プロセス内で空間的・深さ的・チャネル的次元を同時にプルーニングする共同最適化目的関数を定式化する。
• 複数次元にわたるプルーニング意思決定の微分不能性に対処するため、適応的確率的勾配推定手法を応用する。
• プルーニング意思決定が微分可能であり、勾配更新によって学習可能なエンド・ツー・エンドの学習が可能となる。
• ImageNetデータセット上で、MobileNet V1、MobileNet V2、ResNetなど複数のアーキテクチャにこのフレームワークを適用する。
• 1つの次元での改善が他の次元での向上を支援する協調的プルーニングが可能となる。

実験結果

リサーチクエスチョン

• RQ1 空間的・深さ的・チャネル的次元を共同でプルーニングすることで、個別次元のプルーニングに比べ、より優れたモデル圧縮と精度が達成できるか？
• RQ2 3次元にわたる協調的最適化が、極めて高い圧縮比下での最終モデル性能にどのように影響するか？
• RQ3 提案手法は、MobileNet V1やV2のようなコンactモデルにおいても、大規模な圧縮比下で精度を維持または向上できるか？
• RQ4 適応的確率的勾配推定の使用が、エンド・ツー・エンドの共同プルーニングを可能にする影響は何か？

主な発見

• JointPruningは、ImageNetにおける極めて高い圧縮比下で、MobileNet V1において最先端手法よりも2.5%の精度向上を達成した。
• 同じ極めて高い圧縮比下で、MobileNet V2においても現在の最先端手法よりも2.6%の精度向上を記録した。
• ResNetを含む複数のアーキテクチャにわたり、一貫した性能向上を示しており、広範な適用可能性を示している。
• 3次元すべての次元で協調的プルーニングを実施することで、単一次元または二重次元のプルーニング戦略よりも、より優れたモデル効率性と精度が得られた。