[論文レビュー] Modeling of Pruning Techniques for Deep Neural Networks Simplification

Morteza Mousa Pasandi, Mohsen Hajabdollahi+2 more|arXiv (Cornell University)|Jan 13, 2020

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 16

ひとこと要約

この論文は、深層ニューラルネットワークにおけるプルーニング技術を統合する包括的で一般化可能なモデルを提案する。接続、チャネル、フィルタープルーニングの手法を統合し、プルーニングを構造的最適化問題として形式化することで、多様なアーキテクチャーや応用分野において、モデルの複雑さ、精度、効率のトレードオフを体系的かつ包括的に分析可能にする。

ABSTRACT

Convolutional Neural Networks (CNNs) suffer from different issues, such as computational complexity and the number of parameters. In recent years pruning techniques are employed to reduce the number of operations and model size in CNNs. Different pruning methods are proposed, which are based on pruning the connections, channels, and filters. Various techniques and tricks accompany pruning methods, and there is not a unifying framework to model all the pruning methods. In this paper pruning methods are investigated, and a general model which is contained the majority of pruning techniques is proposed. The advantages and disadvantages of the pruning methods can be identified, and all of them can be summarized under this model. The final goal of this model is to provide a general approach for all of the pruning methods with different structures and applications.

研究の動機と目的

• 深層ニューラルネットワークにおける多様なプルーニング技術を統一的にモデル化する枠組みの欠如に応えること。
• 体系的なプルーニングにより、畳み込みニューラルネットワーク（CNN）の計算複雑性とモデルサイズを低減すること。
• 異なる構造や応用分野におけるプルーニング手法の比較と分析を可能にすること。
• 既存の大多数のプルーニング技術を1つの形式的枠組みに統合できる汎用的アプローチを提供すること。
• 標準化されたプルーニング手法を支援することで、実世界の展開に適した効率的で軽量なモデルの設計を可能にすること。

提案手法

• 接続、チャネル、フィルタープルーニングを抽象化する構造的最適化問題としてプルーニングを形式化すること。
• 異なるレイヤーやネットワーク部品におけるプルーニング操作をパrameter化する一般的な数学的枠組みを導入すること。
• ネットワーク重み、フィルタ、またはチャネルに対するスパarsity誘導変換としてプルーニングをモデル化すること。
• 個々の接続、完全なフィルタ、またはチャネルレベルのユニットといった、異なる粒度でプルーニングを表現する階層的抽象化を用いること。
• 精度を維持しつつ、トレーニングとファインチューニング手順をモデルに統合すること。
• プルーニング中にスパarsity、精度、計算効率のバランスを取る統一された損失関数を定義すること。

実験結果

リサーチクエスチョン

• RQ1 既存のプルーニング技術—接続、チャネル、フィルタープルーニング—を1つのモデルで正式に統一できるか？
• RQ2 モデル性能や効率に影響を与えるプルーニング手法間の主な構造的・機能的差異は何か？
• RQ3 一貫性がありスケーラブルな方法で、すべての主要なプルーニング技術を一括してモデル化・比較できる一般的な枠組みを設計できるか？
• RQ4 提案されたモデルは、モデルサイズ、推論速度、精度のトレードオフをどのように分析を支援するか？
• RQ5 このモデルは、多様なCNNアーキテクチャーや実世界の展開シナリオにどの程度応用可能か？

主な発見

• 提案されたモデルは、接続、チャネル、フィルタープルーニング技術を効果的に一般化し、共通の形式的枠組みを提供した。
• フレームワークにより、プルーニング手法の体系的比較が可能となり、それらの相対的な利点と制限が明らかになった。
• プルーニング手法は1つの統一された構造の下で分析・最適化可能となり、モデル簡略化戦略の改善が図れた。
• モデルは、トレーニング、プルーニング、ファインチューニングを含むエンドツーエンドのプルーニングワークフローをサポートし、モデル精度を維持した。
• 今後のニューラルネットワーク圧縮および効率性分野の研究におけるスケーラブルで拡張可能な基盤を提供した。
• 統一されたモデルにより、リソース制約のある環境での展開に適した効率的で軽量なCNNの設計が促進された。