[논문 리뷰] Paraphrasing Complex Network: Network Compression via Factor Transfer

Jangho Kim, SeoungUK Park외 1명|arXiv (Cornell University)|2018. 02. 14.

Topic Modeling참고 문헌 32인용 수 86

한 줄 요약

요약: 지식 증류를 위한 요인 전이(FT)를 제안하고, 교사 요인을 비지도적으로 추출하기 위한 패러프레이저와 학생의 모방자(translator)를 사용하여 KD 및 AT 대비 여러 데이터셋에서 성능이 향상된다.

ABSTRACT

Many researchers have sought ways of model compression to reduce the size of a deep neural network (DNN) with minimal performance degradation in order to use DNNs in embedded systems. Among the model compression methods, a method called knowledge transfer is to train a student network with a stronger teacher network. In this paper, we propose a novel knowledge transfer method which uses convolutional operations to paraphrase teacher's knowledge and to translate it for the student. This is done by two convolutional modules, which are called a paraphraser and a translator. The paraphraser is trained in an unsupervised manner to extract the teacher factors which are defined as paraphrased information of the teacher network. The translator located at the student network extracts the student factors and helps to translate the teacher factors by mimicking them. We observed that our student network trained with the proposed factor transfer method outperforms the ones trained with conventional knowledge transfer methods.

연구 동기 및 목표

• 임베디드 시스템의 정확도 손실을 최소화하며 모델 압축을 촉진한다.
• 사전 학습된 네트워크에서 비지도 방식으로 교사 요인을 추출하기 위한 패러프레이저를 도입한다.
• 패러프레이저로 교사 요인을 추출하고 FT 손실을 통해 학생에서 이를 모방하도록 학생 네트워크에 번역기(translator)를 설계한다.
• FT의 효과를 이미지 분류 및 객체 탐지 벤치마크에서 입증한다.

제안 방법

• 교사 요인을 재구성 손실로 학습된 패러프레이저가 생성한 재구성된 교사 피처 맵으로 정의한다.
• 교사 피처 맵의 크기를 m x k 요인 채널로 조정한다(패러프레이즈 비율 k).
• 학생의 마지막 그룹 뒤에 번역기를 부착하여 FT 손실을 통해 교사 요인과 일치하도록 학생 요인을 생성한다.
• 학생을 분류 손실과 L1 정규화된 FT 손실의 조합 손실로 학습한다.
• CIFAR-10/100, ImageNet, PASCAL VOC에서 FT를 KD와 AT와 비교하고, 패러프레이저/번역기 구성 요소에 대한 절단 연구(ablation studies)를 포함한다.

실험 결과

연구 질문

• RQ1 패러프레이저와 번역기를 통한 요인 기반 지식 전달이 전통적인 KD/AT보다 학생의 성능을 향상시킬 수 있는가?
• RQ2 패러프레이즈 비율 k가 아키텍처와 데이터셋 전반에서 FT의 효과에 어떤 영향을 미치는가?
• RQ3 교사 요인을 비지도적으로 추출하는 것이 직접 활성화/소프트레이블 전달에 비해 이점을 제공하는가?
• RQ4 FT가 분류 외의 작업, 예를 들어 객체 탐지에 유익한가?

주요 결과

• FT는 CIFAR-10/100에서 다양한 교사/학생 아키텍처에 대해 KD 및 AT를 지속적으로 능가한다.
• 공간 차원을 보존하고 다중 계층 패러프레이저가 요인 추출에 있어 더 나은 결과를 낳는다.
• 번역기가 학생이 교사 요인을 모방하도록 하여 깊이/폭이 다르더라도 학습을 향상시킨다.
• FT는 대규모 ImageNet에서도 효과적(상위 오류를 감소)하며 Faster-RCNN 백본에 적용했을 때 PASCAL VOC 2007의 객체 탐지 성능을 향상시킨다.
• 절단 연구는 패러프레이저와 번역기의 조합이 최상의 성능을 낳고 더 많은 패러프레이저 계층이 결과를 향상시킬 수 있음을 보여준다.