[論文レビュー] Layer-compensated Pruning for Resource-constrained Convolutional Neural Networks

Ting-Wu Chin, Cha Zhang+1 more|arXiv (Cornell University)|Oct 1, 2018

Advanced Neural Network Applications参考文献 32被引用数 38

ひとこと要約

本稿では、メタラーニングに基づく手法であるレイヤー補正 pruning（LcP）を提案する。LcPは、フィルタープルーニングにおけるレイヤースケジューリングとランク付け問題を統合的に最適化フレームワークに統合する。ヒューリスティックな重要度指標における近似誤差に対してレイヤーごとの補正を学習することで、先行する強化学習手法と比較して8倍高速なメタラーニングを達成し、ImageNet上で50%のMAC削減を実現した後でも、精度差をわずか0.7%にまで縮小する。

ABSTRACT

Resource-efficient convolution neural networks enable not only the intelligence on edge devices but also opportunities in system-level optimization such as scheduling. In this work, we aim to improve the performance of resource-constrained filter pruning by merging two sub-problems commonly considered, i.e., (i) how many filters to prune for each layer and (ii) which filters to prune given a per-layer pruning budget, into a global filter ranking problem. Our framework entails a novel algorithm, dubbed layer-compensated pruning, where meta-learning is involved to determine better solutions. We show empirically that the proposed algorithm is superior to prior art in both effectiveness and efficiency. Specifically, we reduce the accuracy gap between the pruned and original networks from 0.9% to 0.7% with 8x reduction in time needed for meta-learning, i.e., from 1 hour down to 7 minutes. To this end, we demonstrate the effectiveness of our algorithm using ResNet and MobileNetV2 networks under CIFAR-10, ImageNet, and Bird-200 datasets.

研究の動機と目的

• 既存のフィルタープルーニング手法がレイヤースケジューリングとフィルターランク付けを別々の問題として扱うという限界を解決すること。
• これらの2つのサブ問題を、より効率的なプルーニングのための統一されたグローバルランク付け問題に統合すること。
• プルーニング方策の発見におけるメタラーニングの時間コストを低減しつつ、性能を維持または向上させること。
• さまざまなヒューリスティックな重要度指標（例：ℓ1、ℓ2、テイラー）を、学習されたレイヤーごとの補正によって強化する汎用的なフレームワークの開発。
• エッジデプロイメント環境におけるシステムレベル最適化のためのパレートフロンティアを、効率的に探索可能にする。

提案手法

• フィルタープルーニングを、レイヤースケジューリングとフィルタ選択を統合した1つの最適化タスクとしての統一的グローバルランク付け問題として定式化する。
• プルーニング目的関数の理論的近似を導出し、その際に生じる近似誤差を、その後メタラーニングによって補正する。
• 重要度スコアにおけるレイヤーごとの近似誤差を補正するための潜在変数を学習するメタラーニングフレームワークを導入する。
• 学習された補正を、ℓ1、ℓ2、一次のテイラー近似などの複数のヒューリスティック指標に適用し、プルーニングの有効性を向上させる。
• 異なるネットワークアーキテクチャーやデータセットに一般化できるように、検証データセットの集合上でメタラーナーを訓練する。
• 訓練済みのメタラーナーを用いて、さまざまなMAC制約や遅延制約下での最適なプルーニングスケジュールとフィルターランクを予測する。

実験結果

リサーチクエスチョン

• RQ1 フィルタープルーニングにおけるレイヤースケジューリングとフィルターランク付け問題を、統一的なグローバル最適化問題として効果的に統合できるか？
• RQ2 プルーニング目的関数の単純化に伴い生じる近似誤差を、レイヤーごとの方法で体系的に補正できるか？
• RQ3 メタラーニングを用いて、これらの誤差に対する有効な補正を学習でき、プルーニングの精度と効率性を向上させられるか？
• RQ4 提案手法は、精度と学習時間の両面で、先行する強化学習ベースの手法を上回っているか？
• RQ5 異なるネットワークアーキテクチャーやデータセットに一般化可能であり、リソース制約下でも高い性能を維持できるか？

主な発見

• ImageNet上で50%のMAC演算にまで削減した場合、LcPは元のResNet-50モデルとプルーニング後のモデルとの精度差を0.9%から0.7%にまで縮小した。
• ImageNet上での50%のMAC演算制約下で、75.17%というSOTAの精度を達成し、同条件での先行手法を上回った。
• メタラーニングの所要時間が、先行する強化学習ベースの手法の1時間から7分にまで8倍高速化された。
• Bird-200データセットでは、51%のMAC演算で78.34%のトップ-1精度を達成し、1フィルタ単体のグリーディプルーニング（50%のMACで75.94%）を上回った。
• フレームワークはアーキテクチャを越えて一般化でき、CIFAR-10、ImageNet、Bird-200の各データセットでVGG、ResNet、MobileNetV2で良好な性能を示した。
• 遅延プロファイルの結果、バッチサイズにかかわらず一貫した高速化が得られ、ResNet-50ではMACを58%にまで削減した後でも、バッチサイズ16で1.11msの推論遅延を達成した。