[논문 리뷰] Multi-Task Pruning for Semantic Segmentation Networks

Xinghao Chen, Yunhe Wang외 4명|arXiv (Cornell University)|2020. 07. 16.

Advanced Neural Network Applications참고 문헌 43인용 수 8

한 줄 요약

이 논문은 분류 및 세분화 작업을 함께 평가하여 필터 중요도를 공동으로 평가하는 다중 작업 채널 프루닝 방법을 제안한다. 이는 효율적인 모델 압축을 가능하게 한다. PASCAL VOC 2012에서 최대 2배의 FLOPs 감소를 달성했으며, mIoU는 1% 감소하였고, Cityscapes에서는 1.3% 감소하였다.

ABSTRACT

This paper focuses on channel pruning for semantic segmentation networks. There are a large number of works to compress and accelerate deep neural networks in the classification task (e.g., ResNet-50 on ImageNet), but they cannot be straightforwardly applied to the semantic segmentation network that involves an implicit multi-task learning problem. To boost the segmentation performance, the backbone of semantic segmentation network is often pre-trained on a large scale classification dataset (e.g., ImageNet), and then optimized on the desired segmentation dataset. Hence to identify the redundancy in segmentation networks, we present a multi-task channel pruning approach. The importance of each convolution filter w.r.t the channel of an arbitrary layer will be simultaneously determined by the classification and segmentation tasks. In addition, we develop an alternative scheme for optimizing importance scores of filters in the entire network. Experimental results on several benchmarks illustrate the superiority of the proposed algorithm over the state-of-the-art pruning methods. Notably, we can obtain an about $2 imes$ FLOPs reduction on DeepLabv3 with only an about $1\%$ mIoU drop on the PASCAL VOC 2012 dataset and an about $1.3\%$ mIoU drop on Cityscapes dataset, respectively.

연구 동기 및 목표

• 세분화 네트워크의 압축 문제를 다루며, 표준 분류 네트워크와는 다를 바 있는 암묵적 다중 작업 학습을 고려한다.
• 분류 및 세분화 작업 성능을 함께 고려하여 세분화 모델의 여분 채널을 식별한다.
• 계산 비용을 크게 줄이면서도 높은 세분화 정확도를 유지하는 프루닝 전략을 개발한다.
• 필터 중요도 평가 시 다중 작업 학습 신호를 통합하여 기존 프루닝 방법을 향상시킨다.

제안 방법

• 이 방법은 ImageNet에서 사전 훈련된 분류 헤드의 기울기와 세분화 데이터셋에서 미세조정된 세분화 헤드의 기울기를 함께 사용하여 필터 중요도 점수를 공동으로 계산한다.
• 각 채널의 기여도를 평가하기 위해 분류 및 세분화 목표를 조합한 다중 작업 손실을 제안한다.
• 기울기 기반 중요도를 측정하며, 두 작업의 중요도 점수를 통합하여 여분 채널을 판단한다.
• 모든 레이어에서 중요도 점수를 반복적으로 개선하기 위한 대안 최적화 기법을 도입한다.
• 낮은 중요도 점수를 가진 채널은 전역 임계값 전략에 따라 프루닝하여 성능을 유지한다.

실험 결과

연구 질문

• RQ1 분류 및 세분화 작업의 공동 중요도 평가가 세분화 네트워크의 채널 프루닝에 개선을 가져올 수 있는가?
• RQ2 정확도 및 FLOPs 감소 측면에서 다중 작업 프루닝은 단일 작업 또는 히وري스틱 기반 프루닝보다 어떻게 비교되는가?
• RQ3 다중 작업 프루닝을 적용할 경우 모델 압축과 세분화 정확도 사이의 상충 관계는 어떠한가?
• RQ4 제안된 방법은 성능 저하 없이 상당한 FLOPs 감소를 달성할 수 있는가?

주요 결과

• 제안된 방법은 DeepLabv3에서 약 2배의 FLOPs 감소를 달성하면서도 높은 세분화 정확도를 유지한다.
• PASCAL VOC 2012 데이터셋에서 프루닝 후 mIoU는 단지 1% 감소한다.
• Cityscapes 데이터셋에서 프루닝 후 mIoU는 단지 1.3% 감소하여 뛰어난 일반화 능력을 보여준다.
• 다중 작업 프루닝 접근법은 압축 효율성과 정확도 유지 측면에서 최신 프루닝 방법을 모두 능가한다.