[논문 리뷰] Neuron Merging: Compensating for Pruned Neurons

Woojeong Kim, Suhyun Kim외 2명|arXiv (Cornell University)|2020. 01. 01.

Advanced Neural Network Applications인용 수 3

한 줄 요약

이 논문은 뉴런 병합 기법을 소개한다. 이 기법은 가중치를 새로운 레이어 가중치 행렬과 뉴런 조합을 안내하는 스케일링 행렬으로 분해함으로써, 프루닝된 신경망에서 발생하는 정확도 손실을 보완한다. ReLU 조건 하에서 스케일링 행렬을 다음 레이어에 흡수함으로써 특징 맵을 유지하고, 미세조정 없이도 정확도를 유지한다. VGG-16에서 CIFAR-10에서 64% 적은 파라미터로 93.16%의 정확도를 달성한다.

ABSTRACT

Network pruning is widely used to lighten and accelerate neural network models. Structured network pruning discards the whole neuron or filter, leading to accuracy loss. In this work, we propose a novel concept of neuron merging applicable to both fully connected layers and convolution layers, which compensates for the information loss due to the pruned neurons/filters. Neuron merging starts with decomposing the original weights into two matrices/tensors. One of them becomes the new weights for the current layer, and the other is what we name a scaling matrix, guiding the combination of neurons. If the activation function is ReLU, the scaling matrix can be absorbed into the next layer under certain conditions, compensating for the removed neurons. We also propose a data-free and inexpensive method to decompose the weights by utilizing the cosine similarity between neurons. Compared to the pruned model with the same topology, our merged model better preserves the output feature map of the original model; thus, it maintains the accuracy after pruning without fine-tuning. We demonstrate the effectiveness of our approach over network pruning for various model architectures and datasets. As an example, for VGG-16 on CIFAR-10, we achieve an accuracy of 93.16% while reducing 64% of total parameters, without any fine-tuning. The code can be found here: this https URL

연구 동기 및 목표

• 전체 뉴런 또는 필터를 제거하는 구조적 네트워크 프루닝에서 발생하는 정확도 저하 문제를 해결하기 위해.
• 프루닝된 뉴런으로 인한 정보 손실을 보완할 수 있는 방법을 개발하여, 미세조정을 요구하지 않도록 하기 위해.
• 원래 모델의 출력 특징 맵을 유지하면서 뉴런 병합을 통해 파라미터 효율적인 모델 압축을 가능하게 하기 위해.
• 뉴런 간 코사인 유사도를 기반으로 한 데이터 없음, 저비용 가중치 분해 기법을 제안하기 위해.

제안 방법

• 기존 레이어 가중치를 두 구성요소로 분해한다: 현재 레이어용 새로운 가중치 행렬과 뉴런 병합을 안내하는 스케일링 행렬.
• 활성화 함수가 ReLU일 경우, 특정 조건 하에서 스케일링 행렬이 다음 레이어의 가중치에 흡수되도록 설계된다.
• 뉴런 활성화 간 코사인 유사도를 사용하여 데이터 없이 병합에 적합한 뉴런을 식별하는 데이터 없는 분해를 수행한다.
• 병합된 뉴런의 기여도를 유지함으로써 원래 모델의 출력 특징 맵을 보존하는 병합 과정을 수행한다.
• 완전 연결층과 컨볼루션층 모두에 적용 가능하여 다양한 아키텍처에 광범위하게 적용 가능하다.
• 프루닝 이전의 원래 모델 출력과 병합된 모델의 출력이 유사하도록 보장함으로써, 미세조정을 회피한다.

실험 결과

연구 질문

• RQ1 뉴런 병합 기법은 미세조정 없이도 프루닝된 신경망에서 발생하는 정확도 손실을 효과적으로 보완할 수 있는가?
• RQ2 뉴런 병합을 안내하기 위해 스케일링 행렬을 효율적이고 데이터 없는 방식으로 계산할 수 있는가?
• RQ3 이 병합 전략을 사용할 경우, 파라미터 감소를 어느 정도 달성하면서도 모델 정확도를 유지할 수 있는가?
• RQ4 프루닝 및 병합 후 원래 모델의 특징 맵 표현을 보존하는가?
• RQ5 다양한 아키텍처에서 표준 프루닝과 비교했을 때 뉴런 병합 기법은 정확도와 파라미터 효율성 측면에서 어떻게 다른가?

주요 결과

• 제안된 뉴런 병합 기법은 프루닝 후에도 원래 모델의 출력 특징 맵 분포를 유지하여 정확도 저하를 최소화한다.
• CIFAR-10에서 VGG-16에 대해 이 기법은 93.16%의 정확도를 달성하면서 총 파라미터를 64% 감소시켰고, 어떤 미세조정도 필요로 하지 않았다.
• 이 방법은 다양한 모델 아키텍처와 데이터셋에서 효과적이며, 단일 네트워크를 초월한 일반화 능력을 보여준다.
• 코사인 유사도를 기반으로 한 데이터 없는 분해 기법은 병합을 위한 효율적이고 저비용의 가중치 분해를 가능하게 한다.
• 스케일링 행렬은 ReLU 조건 하에서 다음 레이어에 흡수될 수 있어, 추가 파라미터 없이도 엔드 투 엔드 호환성을 확보한다.
• 이 방법은 동일한 아키텍처를 가진 표준 프루닝 모델보다 정확도에서 뛰어나며, 미세조정 없이도 성능을 확보한다.