[논문 리뷰] Compressing Deep Neural Networks via Layer Fusion

James O’Neill, Greg Ver Steeg외 1명|arXiv (Cornell University)|2020. 07. 29.

Advanced Neural Network Applications참고 문헌 13인용 수 6

한 줄 요약

이 논문은 워샤르슈타인 거리와 공분산 유사도 메트릭을 사용하여 가중치 행렬을 정렬함으로써, 딥 네ural 네트워크의 유사한 완전히 연결된, 컨볼루션 및 어텐션 레이어를 융합하는 구조적 모델 압축 기법인 레이어 융합(LF)을 제안한다. 반복적으로 재학습할 경우, CIFAR-10에서 최대 3.33배의 압축을 달성하면서 정확도 저하가 2% 미만이며, WikiText-2에서 트랜스포머 모델을 20% 크기로 압축하면서 퍼플렉서티가 5포인트만 증가시키며, 추가 파rameter 없이도 비정형 프루닝 및 매칭 지식 정제보다 뛰어난 성능을 보인다.

ABSTRACT

This paper proposes extit{layer fusion} - a model compression technique that discovers which weights to combine and then fuses weights of similar fully-connected, convolutional and attention layers. Layer fusion can significantly reduce the number of layers of the original network with little additional computation overhead, while maintaining competitive performance. From experiments on CIFAR-10, we find that various deep convolution neural networks can remain within 2\% accuracy points of the original networks up to a compression ratio of 3.33 when iteratively retrained with layer fusion. For experiments on the WikiText-2 language modelling dataset where pretrained transformer models are used, we achieve compression that leads to a network that is 20\% of its original size while being within 5 perplexity points of the original network. We also find that other well-established compression techniques can achieve competitive performance when compared to their original networks given a sufficient number of retraining steps. Generally, we observe a clear inflection point in performance as the amount of compression increases, suggesting a bound on the amount of compression that can be achieved before an exponential degradation in performance.

연구 동기 및 목표

• 프루닝과 같은 비정형 압축 기법에서 비롯된 희소 모델의 비효율성과 계산 오버헤드를 해결하기 위해.
• 추가 파rameter 없이 모델 크기를 줄이면서도 네트워크 효율성을 유지하는 구조적이고 밀도 있는 압축 방법을 개발하기 위해.
• 특히 딥 컨볼루션 네트워크와 트랜스포머에서 과도하게 파ram터화된 네트워크의 중복 레이어를 식별하고 융합하면서도 경쟁 가능한 성능을 유지하기 위해.
• 재학습 스케줄과 압축 단계 할당 방식이 압축 과정에서 성능 저하에 미치는 영향을 조사하기 위해.
• 압축이 기하급수적인 정확도 저하로 이어지는 성능의 전환점이 존재하는지, 그리고 그 위치가 모델과 작업에 따라 달라지는지 확인하기 위해.

제안 방법

• 개별 가중치가 아닌 전체 레이어(완전히 연결된, 컨볼루션, 어텐션)를 융합하는 구조적 압축 방법으로 레이어 융합(LF)을 제안한다.
• 후보 레이어 쌍의 가중치 행렬 간 정렬 비용을 계산하기 위해 워샤르슈타인 거리 메트릭을 사용한다.
• 레이어 쌍의 순위를 매기기 위해 유클리드 거리, KL 발산, 워샤르슈타인 거리, 공분산 정렬(CA)을 포함한 다수의 유사도 기준을 활용한다.
• 가중치 융합 시 사용하는 세 가지 융합 전략인 레이어 평균화(평균), 레이어 동결(동결), 무작위 혼합(-혼합)을 적용한다.
• 압축 단계를 비균일하게 할당하기 위해 지수적 커리큘럼 스케줄을 구현하며, 초기에는 더 많은 압축을, 후기에는 더 많은 재학습 스텝을 할당한다.
• 각 융합 단계 이후에 반복적으로 압축된 모델을 재학습하여 성능을 복구하며, 커리큘럼 기반의 압축 전략을 적용한다.

실험 결과

연구 질문

• RQ1 레이어 융합은 모델 정확도를 유지하면서도 조밀한 계산을 유지하면서 딥 네URAL 네트워크를 효과적으로 압축할 수 있는가?
• RQ2 유사도 메트릭의 선택(예: CA, WS, ED, KL)이 압축 과정에서 레이어 융합의 성능에 어떤 영향을 미치는가?
• RQ3 비균일한 압축 스케줄을 사용한 반복적 재학습은 균일한 압축 할당 대비 성능을 향상시키는가?
• RQ4 성능 저하가 기하급수적으로 증가하는 압축 비율은 무엇이며, 이 전환점은 모델과 작업에 따라 달라지는가?
• RQ5 정확도와 모델 크기 측면에서 레이어 융합은 프루닝, 텐서 분해, 지식 정제와 같은 기존 방법보다 어떻게 비교되는가?

주요 결과

• CIFAR-10에서 반복적 재학습을 통해 레이어 융합은 3.33배의 압축 비율까지 원래 네트워크의 정확도와 2% 이내를 유지한다.
• WikiText-2 언어 모델링에서 레이어 융합은 GPT-2 및 트랜스포머-XL 모델을 원래 크기의 20%로 압축하면서 퍼플렉서티를 단지 5포인트만 증가시킨다.
• 공분산 정렬(CA)은 레이어 융합에서 다른 유사도 메트릭보다 일관되게 뛰어나며, WikiText-2에서 TransXL-CA의 경우 퍼플렉서티가 11.13으로 가장 낮게 기록된다.
• 모든 모델과 압축 방법에서 성능의 지수적 전환점이 관찰되며, 이는 특정 임계값을 초과하면 압축이 빠르게 악화됨을 의미한다.
• 초기에는 더 많은 압축, 후에는 더 많은 에포크를 할당하는 커리큘럼 기반의 압축 스케줄을 사용한 재학습은 균일한 압축 할당 대비 성능을 향상시킨다.
• 평균화나 혼합 전략을 사용한 레이어 융합은 평균화 전략과 유사한 성능을 보이며, 융합 방법 선택에 대해 뛰어난 내구성을 보인다.