[논문 리뷰] Multi-Task Zipping via Layer-wise Neuron Sharing

Xiaoxi He, Zimu Zhou외 1명|arXiv (Cornell University)|2018. 05. 24.

Advanced Neural Network Applications참고 문헌 30인용 수 24

한 줄 요약

이 논문은 다중 사전 훈련된 딥 네ural 네트워크를 계층별로 공유하는 뉴런을 통해 압축하는 Multi-Task Zipping (MTZ) 프레임워크를 제안한다. 이 프레임워크는 경량 재훈련을 통해 정확도 손실를 최소화하며, 두 개의 VGG-16 네트워크 간에 최대 39.61%의 파라미터 공유를 달성했고, 테스트 오차 증가가 0.5% 미만이었으며, 처음부터 훈련하는 것에 비해 재훈련 반복 수를 최소 17.9배 감소시켰다.

ABSTRACT

Future mobile devices are anticipated to perceive, understand and react to the world on their own by running multiple correlated deep neural networks on-device. Yet the complexity of these neural networks needs to be trimmed down both within-model and cross-model to fit in mobile storage and memory. Previous studies focus on squeezing the redundancy within a single neural network. In this work, we aim to reduce the redundancy across multiple models. We propose Multi-Task Zipping (MTZ), a framework to automatically merge correlated, pre-trained deep neural networks for cross-model compression. Central in MTZ is a layer-wise neuron sharing and incoming weight updating scheme that induces a minimal change in the error function. MTZ inherits information from each model and demands light retraining to re-boost the accuracy of individual tasks. Evaluations show that MTZ is able to fully merge the hidden layers of two VGG-16 networks with a 3.18% increase in the test error averaged on ImageNet and CelebA, or share 39.61% parameters between the two networks with <0.5% increase in the test errors for both tasks. The number of iterations to retrain the combined network is at least 17.8 times lower than that of training a single VGG-16 network. Moreover, experiments show that MTZ is also able to effectively merge multiple residual networks.

연구 동기 및 목표

• 저장소와 메모리 제약으로 인해 자원이 제한된 모바일 디바이스에 여러 크고 사전 훈련된 딥 네럴 네트워크를 구현하는 데 도전하는 문제를 해결하기 위해.
• 정확도 저하 없이 다수의 상관관계가 있는 딥 네럴 네트워크 간의 교차 모델 중복을 줄이기 위해.
• 사전 훈련된 가중치를 유지하면서도 정확도를 복원하기 위해 경량 재훈련이 필요한 효율적인 압축 방법을 개발하기 위해.
• 다양한 아키텍처(예: VGG-16 및 ResNet) 간에 효과적인 파라미터 공유를 가능하게 하며, 모델이 서로 다른 작업을 위해 사전 훈련되었더라도 가능하게 하기 위해.

제안 방법

• MTZ는 사전 훈련된 모델 간에 계층별 뉴런 공유를 수행하며, 오차 증가를 최소화하는 데 기반해 최적의 뉴런 쌍을 선택한다.
• 과제별 성능을 유지하기 위해 공유 뉴런의 입력 가중치를 업데이트하며, 오차 함수에서 오차를 최소화하는 가분가능한 최적화 기법을 사용한다.
• 이 프레임워크는 계층별 기반으로 작동하여 과제별 분류 헤드를 유지하면서도 은닉 계층을 선택적으로 병합할 수 있다.
• 병합 후 정확도를 복구하기 위해 경량 재훈련 단계를 사용하며, 이는 종단 간 훈련에 비해 훈련 반복 수를 크게 감소시킨다.
• 모든 은닉 계층의 완전한 병합과 제어 가능한 압축 비율을 갖는 적응형 병합을 모두 지원한다.
• 더 작은 크기로 줄이기 위해 기존의 단일 모델 압축 기법(예: 프루닝 및 양자화)과 호환된다.

실험 결과

연구 질문

• RQ1 다수의 사전 훈련된 딥 네럴 네트워크를 효과적으로 병합하여 모델 크기를 줄일 수 있으며, 과제 정확도를 유지할 수 있는가?
• RQ2 각 개별 과제의 오차 증가를 최소화하기 위해 모델 간 뉴런 공유를 어떻게 최적화할 수 있는가?
• RQ3 계층별 공유를 통한 다수 모델 병합 시 압축 비율과 정확도 손실 사이의 상충 관계는 어떠한가?
• RQ4 MTZ는 처음부터 공동 모델을 훈련하는 것에 비해 훈련 효율성에서 뚜렷한 향상을 이룰 수 있는가?
• RQ5 MTZ는 더 깊은 아키텍처(예: ResNets)와 다수의 과제에 대해 효과적으로 스케일링되는가?

주요 결과

• MTZ는 ImageNet과 CelebA를 위한 두 개의 VGG-16 네트워크의 모든 은닉 계층을 완전히 병합했으며, 두 과제 평균 테스트 오차 증가율이 3.18%였다.
• 두 VGG-16 모델 간 39.61%의 파라미터를 공유할 경우, ImageNet과 CelebA 과제 모두에서 테스트 오차 증가율이 0.5% 미만이었다.
• 병합된 모델의 재훈련 과정은 단일 VGG-16 네트워크를 처음부터 훈련하는 것에 비해 최소 17.9배 적은 반복 수가 필요했다.
• MTZ는 다섯 개인 다른 시각 인식 과제를 위해 훈련된 다섯 개인 ResNet-28 모델 간에 90%의 파라미터를 성공적으로 공유했으며, 평균 정확도 감소율은 0.25%에 불과했다.
• MTZ가 구성한 공동 모델은 동일한 아키텍처와 파라미터 수를 가진 완전히 공유된 다중 과제 VGG-16보다 성능이 뛰어나, 더 나은 지식 전이 효과를 보였다.
• 초기 결과에 따르면 MTZ는 희박한 네트워크에도 적용 가능하며, 가중치 프루닝 기법과의 통합 가능성이 있다.