[논문 리뷰] Pruning Convolutional Neural Networks with Self-Supervision

Mathilde Caron, Ari S. Morcos외 3명|arXiv (Cornell University)|2020. 01. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 31

한 줄 요약

이 논문은 일반적으로 감독 학습에 사용되는 표준 크기 기반의 비구조적 가지치를, 자기지도(self-supervised) 작업으로 학습된 네트워크에 적용하여, 가지치된 자기지도 서브네트워크가 전달 성능을 보존하고 라벨로 재학습될 수 있음을 보인다.

ABSTRACT

Convolutional neural networks trained without supervision come close to matching performance with supervised pre-training, but sometimes at the cost of an even higher number of parameters. Extracting subnetworks from these large unsupervised convnets with preserved performance is of particular interest to make them less computationally intensive. Typical pruning methods operate during training on a task while trying to maintain the performance of the pruned network on the same task. However, in self-supervised feature learning, the training objective is agnostic on the representation transferability to downstream tasks. Thus, preserving performance for this objective does not ensure that the pruned subnetwork remains effective for solving downstream tasks. In this work, we investigate the use of standard pruning methods, developed primarily for supervised learning, for networks trained without labels (i.e. on self-supervised tasks). We show that pruned masks obtained with or without labels reach comparable performance when re-trained on labels, suggesting that pruning operates similarly for self-supervised and supervised learning. Interestingly, we also find that pruning preserves the transfer performance of self-supervised subnetwork representations.

연구 동기 및 목표

• 감독 학습용으로 개발된 표준 가지치기 방법이 자기지도 네트워크에서도 작동하는지 평가한다.
• 가지치기가 자기지도 특징의 다운스트림 작업으로의 전달성에 어떤 영향을 미치는지 평가한다.
• 가지치된 자기지도 서브네트워크가 감독 작업에서 재학습될 수 있는지 여부를 조사한다.
• 부분 라벨을 사용하는 반지도 가지치(semi-supervised pruning)가 가지치기 결과에 미치는 영향을 검토한다.

제안 방법

• 자기지도 작업으로 학습된 과도하게 매개변수화된 네트워크에 크기 기반의 비구조적 반복 가지치를 적용한다.
• 재학습 시 가중치 재설정 전략(우승 티켓)이나 무작위 초기화(random re-initialization)를 사용한다.
• 가지치기의 프리텍스트 목표로 RotNet과 Exemplar(및 NPDI)을 평가한다.
• 선형/미세조정 분류기를 사용하여 다운스트림 작업에 가지치기된 표현을 전이한다( VOC07, Places205, ImageNet ).
• 가지치기 중 감독 여부를 비교하고, 가지치기 시 반지도 가지치(일부 라벨)도 비교한다.
• 남은 가중치가 20%에서 99.9%까지의 가지치율에 걸쳐 결과를 보고한다.

실험 결과

연구 질문

• RQ1 기본 네트워크가 자기지도 목표로 학습되었을 때 표준 감독 학습용 가지치기 방법이 효과적인 서브네트워크를 생성할 수 있는가?
• RQ2 가지치된 자기지도 서브네트워크가 다운스트림 작업에서 레이블로 가지치기된 경우와 비교하여 전달 성능을 유지하는가?
• RQ3 가지치된 서브네트워크를 초기화 상태에서 감독 작업으로 재학습할 수 있는가, 그리고 우승 티켓과 무작위 초기화 간의 차이는 어떠한가?
• RQ4 가지치기 중 일부 라벨 감독을 도입하는(반지도 가지치) 것이 결과 서브네트워크의 품질을 향상시키는가?

주요 결과

• 가중치의 최대 90%까지 가지치더라도(남은 가중치가 0.1% 미만) VOC07, Places205, ImageNet에서 선형 분류기로 평가할 때 전달 성능이 저하되지 않는다.
• 가지치된 자기지도 서브네트워크는 무작위 재초기화 시 감독 가지치 성능과 맞추거나 능가하도록 재학습될 수 있으며, 반면 우승 티켓은 자기지도 가지치에 덜 유리하다.
• 전이 전 가지치기가 전이 중 가지치기보다 더 나은 결과를 낳는 경향이 있으며, 가지치기된 사전 학습 모델은 계산 자원이 제한된 사용자에게도 공유될 수 있다.
• 자기지도 가지치가 감독 가지치와 비교해도 마스크의 질은 유사하나, 관련된 우승-티켓 초기화는 라벨 분류에서 물려받은 것만큼 강하지 않다.
• 반지도 가지치(약 10%의 라벨 데이터 사용)는 비지도 가지치에 비해 우승-티켓 초기화와 다운스트림 정확도를 개선하여, 우승 티켓의 일부 라벨 의존성을 시사한다.