[論文レビュー] CPOT: Channel Pruning via Optimal Transport

Yucong Shen, Shen Li+3 more|arXiv (Cornell University)|May 21, 2020

Blind Source Separation Techniques参考文献 34被引用数 4

ひとこと要約

CPOTは、チャネル特徴分布のワサーラインン重心を計算することで、深層畳み込みニューラルネットワークにおける冗長なフィルタを同定・削除する最適輸送を用いた新しいチャネルプルーニング手法を提案する。画像分類タスクにおけるResNetsや、性能低下を最小限に抑えてGAN（例：StarGAN）を効果的に圧縮できる。生成タスクにおいても優れたロバスト性を示し、最先端の手法を上回る性能を発揮する。

ABSTRACT

Recent advances in deep neural networks (DNNs) lead to tremendously growing network parameters, making the deployments of DNNs on platforms with limited resources extremely difficult. Therefore, various pruning methods have been developed to compress the deep network architectures and accelerate the inference process. Most of the existing channel pruning methods discard the less important filters according to well-designed filter ranking criteria. However, due to the limited interpretability of deep learning models, designing an appropriate ranking criterion to distinguish redundant filters is difficult. To address such a challenging issue, we propose a new technique of Channel Pruning via Optimal Transport, dubbed CPOT. Specifically, we locate the Wasserstein barycenter for channels of each layer in the deep models, which is the mean of a set of probability distributions under the optimal transport metric. Then, we prune the redundant information located by Wasserstein barycenters. At last, we empirically demonstrate that, for classification tasks, CPOT outperforms the state-of-the-art methods on pruning ResNet-20, ResNet-32, ResNet-56, and ResNet-110. Furthermore, we show that the proposed CPOT technique is good at compressing the StarGAN models by pruning in the more difficult case of image-to-image translation tasks.

研究の動機と目的

• 深層学習モデルの解釈性が低いことによる、深層ニューラルネットワークにおける冗長なフィルタの同定の課題に対処すること。
• 最適輸送理論を活用することで、チャネル分布の幾何構造をよりよく捉えることで、チャネルプルーニングを改善すること。
• 分類モデルや生成モデルの両方を効果的に圧縮する手法を開発すること、特にGANのような難しいケースに対しても有効であること。
• 従来のノルムベースや幾何学的中央値ベースの手法よりも、精度と効率の両面で優れたプルーニング技術を実現すること。
• リソース制限のあるデバイスへの深層モデルの効率的デプロイメントを可能にする、より効果的なチャネルプルーニングを実現すること。

提案手法

• CPOTは、最適輸送を用いて各層のすべてのチャネル特徴分布のワサーラインン重心を計算する。これはワサーラインン距離に基づく分布の重心を表す。
• ワサーラインン重心からの距離が小さいチャネルは、置き換え可能な情報を保持しているとされ、冗長とみなされプルーニングされる。
• この手法はレイヤー単位で実行され、プルーニング後にネットワークを再構築することで、モデルの整合性と効率を維持する。
• 最適輸送を用いることで、フィルタの確率分布間の距離を計算し、従来のノルムや幾何学的中央値よりも優れた幾何モデリングが可能になる。
• 微調整中に繰り返し適用され、GANでは5,000イテレーションごとにプルーニングが実施され、モデルの安定性を保つ。
• FIDとISの指標を用いて、分類タスク（ResNets）および画像対画像変換タスク（StarGAN）の両方で評価が行われる。

実験結果

リサーチクエスチョン

• RQ1 最適輸送に基づくチャネルプルーニングは、従来のノルムベースや幾何学的中央値ベースの手法よりも、モデル圧縮において優れた性能を発揮するか？
• RQ2 CPOTは、構造的変更に対して感受性の高い生成対象であるGAN（例：StarGAN）を効果的に圧縮できるか？
• RQ3 ワサーラインン重心を用いることで、幾何学的中央値やノルムベースの基準よりも、冗長な情報の表現がより正確になるか？
• RQ4 特にリソースが限られた環境や複雑な生成タスクにおいて、高いプルーニング比でもCPOTは性能を維持できるか？
• RQ5 CPOTは、顕著な性能劣化を伴わずに、多様なアーキテクチャやデータセットに適用可能か？

主な発見

• CPOTは、画像分類タスクにおけるResNet-20、ResNet-32、ResNet-56、ResNet-110でFPGMや他の最先端手法を上回り、プルーニング後でも高い精度を達成する。
• CelebAデータセットにおいて、5属性StarGANモデルで30%のチャネルをプルーニングした場合、CPOTは圧縮後のFIDが17.62、ISが3.04を維持し、FPGMを上回る。
• 3属性StarGANモデルでは、CPOTが圧縮後のFID14.87、IS3.04を達成し、ISは元のモデルのスコアを上回ることすらある。
• CPOTは、多くのプルーニング手法が失敗するGANにおいても優れた性能を示し、複雑な非分類タスクにおけるロバスト性を証明する。
• FIDとISの劣化を最小限に抑えながら、高品質な画像生成を維持しており、画像対画像変換タスクにおいて有効であることが実証された。
• CPOTは、高い汎化可能性を示しており、異なるアーキテクチャやタスク、特に構造的感度の高いタスクに対しても、効果的にモデルを圧縮できる。