[論文レビュー] Multi-Task Pruning for Semantic Segmentation Networks

Xinghao Chen, Yunhe Wang+4 more|arXiv (Cornell University)|Jul 16, 2020

Advanced Neural Network Applications参考文献 43被引用数 8

ひとこと要約

この論文は、分類とセグメンテーションの両方のタスクを統合的に評価することでフィルタ重要度を共同で評価する、セマンティックセグメンテーションネットワーク向けのマルチタスクチャネルプルーニング手法を提案している。これにより、効率的なモデル圧縮が可能となり、DeepLabv3では最大2倍のFLOPs削減が達成され、PASCAL VOC 2012ではmIoUが1%低下するのみで、Cityscapesでは1.3%にとどまる。

ABSTRACT

This paper focuses on channel pruning for semantic segmentation networks. There are a large number of works to compress and accelerate deep neural networks in the classification task (e.g., ResNet-50 on ImageNet), but they cannot be straightforwardly applied to the semantic segmentation network that involves an implicit multi-task learning problem. To boost the segmentation performance, the backbone of semantic segmentation network is often pre-trained on a large scale classification dataset (e.g., ImageNet), and then optimized on the desired segmentation dataset. Hence to identify the redundancy in segmentation networks, we present a multi-task channel pruning approach. The importance of each convolution filter w.r.t the channel of an arbitrary layer will be simultaneously determined by the classification and segmentation tasks. In addition, we develop an alternative scheme for optimizing importance scores of filters in the entire network. Experimental results on several benchmarks illustrate the superiority of the proposed algorithm over the state-of-the-art pruning methods. Notably, we can obtain an about $2 imes$ FLOPs reduction on DeepLabv3 with only an about $1\%$ mIoU drop on the PASCAL VOC 2012 dataset and an about $1.3\%$ mIoU drop on Cityscapes dataset, respectively.

研究の動機と目的

• セマンティックセグメンテーションネットワークの圧縮に取り組むこと。これは、標準の分類ネットワークとは異なり、暗黙的なマルチタスク学習を含む特徴を持つ。
• 分類タスクとセグメンテーションタスクの両方の性能を統合的に考慮することで、セグメンテーションモデル内の冗長なチャネルを同定すること。
• 大幅な計算コスト削減を実現しつつも、高いセグメンテーション精度を維持するプルーニング戦略を開発すること。
• フィルタ重要度推定の段階でマルチタスク学習の信号を統合することで、既存のプルーニング手法を改善すること。

提案手法

• 分類ヘッド（ImageNetで事前学習済み）とセグメンテーションヘッド（セグメンテーションデータセットで微調整済み）からの勾配を用いて、両方のタスクでフィルタの重要度スコアを同時に計算する。
• 分類とセグメンテーションの目的関数を組み合わせたマルチタスク損失を定式化し、各チャネルのタスク全体における寄与度を評価する。
• 勾配に基づくセンシティビティを用いてフィルタの重要度を測定し、両方のタスクにわたるスコアを集約して冗長性を特定する。
• ネットワークの全レイヤーにわたり、重要度スコアを段階的に最適化し直すための代替最適化スキームを導入する。
• 重要度スコアが低いチャネルは、グローバルしきい値戦略に基づいてプルーニングし、性能を保持する。

実験結果

リサーチクエスチョン

• RQ1 分類とセグメンテーションタスクからの共同重要度推定は、セマンティックセグメンテーションネットワークにおけるチャネルプルーニングを改善できるか？
• RQ2 マルチタスクプルーニングは、単一タスクまたはヒューリスティックベースのプルーニングと比較して、精度とFLOPs削減の両面で優れているか？
• RQ3 マルチタスクプルーニングを適用した際の、モデル圧縮とセグメンテーション精度のトレードオフは何か？
• RQ4 提案手法は、顕著な性能低下を伴わずに顕著なFLOPs削減を達成できるか？

主な発見

• 提案手法は、DeepLabv3でFLOPsを約2倍に削減しつつも、高いセグメンテーション精度を維持している。
• PASCAL VOC 2012データセットでは、プルーニング後もmIoUが1%しか低下していない。
• Cityscapesデータセットでは、mIoUの低下がわずか1.3%にとどまり、優れた一般化性能を示している。
• マルチタスクプルーニングアプローチは、圧縮効率と精度保持の両面で、最先端のプルーニング手法を上回っている。