[論文レビュー] Manifold Regularized Dynamic Network Pruning

Yehui Tang, Yunhe Wang+5 more|arXiv (Cornell University)|Mar 10, 2021

Advanced Neural Network Applications参考文献 60被引用数 4

ひとこと要約

本稿では、入力に依存する複雑さとインスタンス間の特徴類似度に基づいてフィルタを動的にプルーニングする、多様体正則化付きの動的ネットワークプルーニング手法ManiDPを提案する。スパarsity正則化をインスタンスの複雑さに合わせ、プルーニング後のサブネットワークでも類似度を保持することで、ImageNet上でのResNet-34で55.3%のFLOPs削減を達成し、トップ-1精度はわずか0.57%低下に抑えられ、最先端の手法を上回る性能を示した。

ABSTRACT

Neural network pruning is an essential approach for reducing the computational complexity of deep models so that they can be well deployed on resource-limited devices. Compared with conventional methods, the recently developed dynamic pruning methods determine redundant filters variant to each input instance which achieves higher acceleration. Most of the existing methods discover effective sub-networks for each instance independently and do not utilize the relationship between different inputs. To maximally excavate redundancy in the given network architecture, this paper proposes a new paradigm that dynamically removes redundant filters by embedding the manifold information of all instances into the space of pruned networks (dubbed as ManiDP). We first investigate the recognition complexity and feature similarity between images in the training set. Then, the manifold relationship between instances and the pruned sub-networks will be aligned in the training procedure. The effectiveness of the proposed method is verified on several benchmarks, which shows better performance in terms of both accuracy and computational cost compared to the state-of-the-art methods. For example, our method can reduce 55.3% FLOPs of ResNet-34 with only 0.57% top-1 accuracy degradation on ImageNet.

研究の動機と目的

• 静的かつ独立した動的プルーニング手法の限界、すなわち入力インスタンス間の関係性を十分に活用できない点を是正すること。
• 多様体構造、特にインスタンスの複雑さと特徴類似度をプルーニングプロセスに統合することで、深層ネットワークにおける冗長性の最大限の除去を実現すること。
• 入力に応じた要件に応じてネットワーク容量を適応的に割り当てる動的プルーニングフレームワークの構築。
• プルーニング後のサブネットワークにおいても、入力間の構造的・意味的関係性を保持することで、一般化性能と効率性の向上を図ること。

提案手法

• 本手法はまず、各トレーニングインスタンスの認識の複雑さを分析し、入力の難易度に応じて適応的なスパarsityペナルティを割り当てる。
• ネットワークからの表現を用いて、インスタンス間の特徴類似度を計算することで、インスタンス間の関係性をモデル化する。
• インスタンス固有のペナルティウェイトを備えた適応的スパarsity損失により、複雑な入力にはより多くのアクティブなフィルタが割り当てられ、単純な入力には少ないフィルタが使用される。
• 類似度正則化項により、入力特徴の類似度行列と対応するプルーニング済みサブネットワークの類似度行列を一致させ、構造的一致性を維持する。
• 全体のトレーニング目的関数は、スパarsity損失と類似度損失を組み合わせ、学習可能なハイパーパrameterを用いてエンドツーエンドで最適化される。
• プルーニング済みネットワークは推論時に、入力の複雑さと類似度に応じてチャンネルを動的に選択するインスタンス固有のサブネットワークを生成する。

実験結果

リサーチクエスチョン

• RQ1 動的プルーニングにインスタンス固有の複雑さを組み込むことで、精度を損なわずモデルの効率性を向上させることができるか？
• RQ2 プルーニングされたサブネットワークにおいてインスタンス間の特徴類似度を保持することは、一般化性能と計算コストにどのように影響を与えるか？
• RQ3 適応的スパarsity正則化は、多様な入力に対してネットワーク容量と冗長性除去のバランスをどのように調整するか？
• RQ4 多様体正則化付きプルーニングは、FLOPsの削減と精度保持の観点で、従来の静的および動的プルーニング手法を凌駆できるか？

主な発見

• 提案手法ManiDPは、ImageNet上でのResNet-34で55.3%のFLOPs削減を達成し、トップ-1精度はわずか0.57%低下に抑えられ、優れた効率性と精度のトレードオフを実現した。
• ResNet-56では73.87%のFLOPs削減と67.42%のメモリ削減を達成し、テスト精度は93.29%を維持（元のモデル比0.41%低下）、高い効率性を示した。
• 類似度損失部を無効化した場合、0.98%の精度低下と比較して1.43%の精度低下が生じ、類似度損失の性能維持への重要性が裏付けられた。
• 本手法はハイパーパrameterの設定に対して頑健であり、広い範囲のスパarsityおよび類似度損失重み（例：λ′ ∈ [0.001, 0.01], γ ≈ 10.0）で良好な性能を発揮した。
• サブネットワークのFLOPsは入力の複雑さに応じて変動し、単純な画像はコンパクトなサブネットワークが使用され、複雑または曖昧な画像はより多くのチャンネルが活性化された。
• 可視化により、FLOPsが低いサブネットワークが明確で単純な画像（例：明確に識別可能な鳥や犬）を適切に処理していることが確認された。一方、FLOPsが高いサブネットワークは、小さな物体や大きな物体など曖昧または複雑な入力に使用された。