[논문 리뷰] Parameter Efficient Training of Deep Convolutional Neural Networks by Dynamic Sparse Reparameterization

Hesham Mostafa, Xin Wang|arXiv (Cornell University)|2019. 02. 15.

Machine Learning and Data Classification인용 수 123

한 줄 요약

이 논문은 고정된 파라미터 예산으로 딥 CNN을 훈련하기 위한 새로운 동적 희소 재매개변수화(dynamic sparse reparameterization) 방법을 제시하며, 정적 및 동적 기준선보다 우수하고 사후 훈련 압축의 정확도와 일치하거나 이를 능가한다. CIFAR-10 및 ImageNet 실험에서

ABSTRACT

Modern deep neural networks are typically highly overparameterized. Pruning techniques are able to remove a significant fraction of network parameters with little loss in accuracy. Recently, techniques based on dynamic reallocation of non-zero parameters have emerged, allowing direct training of sparse networks without having to pre-train a large dense model. Here we present a novel dynamic sparse reparameterization method that addresses the limitations of previous techniques such as high computational cost and the need for manual configuration of the number of free parameters allocated to each layer. We evaluate the performance of dynamic reallocation methods in training deep convolutional networks and show that our method outperforms previous static and dynamic reparameterization methods, yielding the best accuracy for a fixed parameter budget, on par with accuracies obtained by iteratively pruning a pre-trained dense model. We further investigated the mechanisms underlying the superior generalization performance of the resultant sparse networks. We found that neither the structure, nor the initialization of the non-zero parameters were sufficient to explain the superior performance. Rather, effective learning crucially depended on the continuous exploration of the sparse network structure space during training. Our work suggests that exploring structural degrees of freedom during training is more effective than adding extra parameters to the network.

연구 동기 및 목표

• 딥 CNN에서 고정 메모리 예산 하의 파라미터-효율적 훈련의 필요성 제시.
• 훈련 중 비제로 파라미터를 재배치하는 동적 희소 재매개변수화 방법 개발.
• CNN과 데이터셋 전반에서 정적 희소, 동적 재매개변수화, 압축 기준선과 벤치마크.
• 훈련 중 동적 구조 탐색으로 인한 일반화 개선의 메커니즘 연구.

제안 방법

• 네트워크를 희소 파라미터 텐서로 표현하고, 비제로 값은 경사 하강법으로 최적화되며 그 위치는 훈련 중 재배치된다.
• 크기 기반 가지치기와 무작위 성장을 두 단계 사이클로 사용하여 자유 파라미터를 계층 내외로 이동시킨다.
• 전역 임계값 H로 가지치기 임계값을 적응적으로 조정하여 비제로 파라미터의 총수를 고정한다.
• 새로 해방된 파라미터를 손실 그래디언트가 큰 계층과 더 희소한 구조를 우선시하는 휴리스틱에 따라 계층 간 재분배한다.
• CIFAR-10 및 ImageNet에서 전체 밀집, 얇은 밀집, 정적 희소, 압축 희소, DeepR, SET, HashedNet 기준선과 동적 희소 재매개변수화를 비교한다.

실험 결과

연구 질문

• RQ1 동적 희소 재매개변수를 사용하여 고정 예산의 파라미터로 딥 CNN을 효과적으로 훈련할 수 있는가?
• RQ2 훈련 중 비제로 가중치의 적응적 교차-레이어 재배치가 정적 희소성이나 사후 훈련 가지치기보다 일반화를 개선하는가?
• RQ3 최종 희소 구조나 초기화 너머로 높은 일반화를 달성하기 위해 훈련 중 네트워크 구조의 동적 탐색이 필요한가?
• RQ4 동적 희소 훈련을 사용할 때 계층과 블록 전반에서 나타나는 희소성 패턴은 무엇인가?

주요 결과

• 동적 희소 훈련은 같은 파라미터 예산에서 정적 재매개변화보다 일반화가 더 좋고, 종종 사후 훈련 압축 기준선과 일치하거나 이를 능가한다.
• 최종 희소성 패턴은 더 큰 파라미터 텐서가 더 희소해지고 더 깊은 계층이 더 희소해지는 경향을 보인다.
• 이 방법은 경쟁적인 동적 방법에 비해 계산 오버헤드가 미미하며 계층 간 파라미터 재배치를 자동으로 수행할 수 있다.
• 우수한 성능은 최종 희소 구조나 초기화만이 아니라 훈련 중의 지속적인 구조 탐색에서 비롯된다.
• 초기 에폭 이후에 동적 재배치를 중지해도 수렴에 도달하는데, 이는 조기 구조 탐색이 중요함을 시사한다.