[논문 리뷰] Unifying and Merging Well-trained Deep Neural Networks for Inference Stage

Yi-Min Chou, Yi-Ming Chan외 3명|arXiv (Cornell University)|2018. 05. 14.

Advanced Neural Network Applications참고 문헌 17인용 수 6

한 줄 요약

이 논문은 자원이 제한된 장치에서 효율적인 추론을 위해 잘 훈련된 딥 네ural 네트워크를 통합하고 하나의 컴act 모델로 통합하는 NeuralMerger라는 방법을 제안한다. 레이어를 정렬하고 인코딩을 통해 대표적인 가중치 코드를 공유함으로써, 병합된 모델은 원래 아키텍처를 유지하면서 부정확도를 줄이고 재훈련을 통해 성능을 유지하거나 향상시킬 수 있으며, 최대 20배의 압축을 달성하면서 정확도 손실이 최소한이 된다.

ABSTRACT

We propose a novel method to merge convolutional neural-nets for the inference stage. Given two well-trained networks that may have different architectures that handle different tasks, our method aligns the layers of the original networks and merges them into a unified model by sharing the representative codes of weights. The shared weights are further re-trained to fine-tune the performance of the merged model. The proposed method effectively produces a compact model that may run original tasks simultaneously on resource-limited devices. As it preserves the general architectures and leverages the co-used weights of well-trained networks, a substantial training overhead can be reduced to shorten the system development time. Experimental results demonstrate a satisfactory performance and validate the effectiveness of the method.

연구 동기 및 목표

• 자원이 제한된 장치에 여러 개의 딥 네럴 네트워크를 배포하는 과제를 해결하기 위해, 이를 하나의 컴팩트한 모델로 통합한다.
• 다시 시작하지 않고도 독립적으로 훈련된 네트워크 간의 중복 필터와 가중치를 제거한다.
• 잘 훈련된 모델의 원래 아키텍처를 유지하면서 다중 작업을 위한 공동 추론을 가능하게 한다.
• 비용이 많이 드는 시도-오류 아키텍처 설계와 공동 훈련을 피하여 시스템 개발 시간을 단축시킨다.
• 가중치 공유와 재훈련을 통해 엣지 장치에서 효율적인 다중 작업 추론을 가능하게 한다.

제안 방법

• 다른 사전 훈련된 네트워크의 대응 레이어(예: 합성곱 및 완전 연결 레이어)를 쌍으로 구성된 구조로 정렬한다.
• 대표적인 코드북을 사용하여 공유 가중치를 인코딩하여 병합된 네트워크 간의 가중치 공유를 가능하게 한다.
• 다른 네트워크의 필터와 가중치를 공통의 공유 표현으로 매핑하기 위해 공동 인코딩 기법을 적용한다.
• 성능 복원 또는 향상을 위해 지식 정착 원칙을 사용하여 병합된 모델을 재훈련한다.
• 두 단계 과정을 사용한다: (1) 가중치의 정렬 및 인코딩, (2) 엔드 투 엔드 백프로파게이션 기반의 재훈련.
• 공유 코드북 구조를 확장하여 두 개 이상의 모델을 점진적으로 병합할 수 있도록 지원한다.

실험 결과

연구 질문

• RQ1 다양한 아키텍처를 가진 잘 훈련된 딥 네럴 네트워크 여러 개를 다시 시작하지 않고도 하나의 컴팩트한 모델로 통합할 수 있는가?
• RQ2 사전 훈련된 네트워크 간의 중복을 얼마나 효과적으로 제거할 수 있으며, 성능을 유지하거나 향상시킬 수 있는가?
• RQ3 병합된 모델가 여러 작업에서 정확도를 유지하면서 얼마나 높은 압축을 달성할 수 있는가?
• RQ4 통합된 모델이 저성능 장치에서 동시에 여러 추론 작업을 지원할 수 있는가?
• RQ5 동일한 제약 조건 하에서 압축된 병합 모델의 성능이 개별 모델과 비교해 어떻게 되는가?

주요 결과

• 'LIGHT' 설정에서 병합된 모델는 사운드 인식에서 정확도 손실이 0.25%에 불과하고 다른 작업에서도 수용 가능한 손실을 보이며 최대 20배의 압축 비율을 달성했다.
• 'ACCU' 설정에서는 12배 이상의 압축 비율을 기록했으며 평균 정확도가 약간 향상되어 0.28% 감소했지만 1.8배의 속도 향상을 보였다.
• 의류 및 성별 분류를 위한 병합 모델은 성별 인식에서 1.5배의 속도 향상과 0.27%의 정확도 손실을 기록했으며, 2.8배의 압축을 달성했다.
• 세 개의 모델(의류, 성별, 사운드)을 병합했을 때 정확도 손실은 미미했으며, 의류 분류에서 0.38%, 성별 분류에서 1.11%, 사운드 분류에서 0.25%의 손실을 보였다. 이는 확장성의 증거이다.
• 이 방법은 내부 모델 및 상호 모델 중복을 효과적으로 활용하여 다양한 네트워크 간에 효율적인 표현을 가능하게 했다.
• LeNet보다 큰 모델을 압축하더라도 병합된 모델는 최소한의 정확도 저하로 높은 성능을 유지했다.