[논문 리뷰] Spatial-Winograd Pruning Enabling Sparse Winograd Convolution

Jiecao Yu, Jongsoo Park외 1명|arXiv (Cornell University)|2019. 01. 08.

Robotics and Sensor-Based Localization참고 문헌 14인용 수 9

한 줄 요약

이 논문은 스파티컬 웨이트 프루닝을 통해 웨이너포르드 변환 후에도 스파arsity를 유지하는 두 단계 방법인 스페이셜-웨이너포르드 프루닝을 제안한다. 첫 번째 단계에서는 공간 도메인에서 구조적 프루닝을 적용하여 웨이너포르드 도메인으로의 스파arsity 전이를 최적화하고, 두 번째 단계에서는 중요도 요소 행렬을 사용하여 웨이너포르드 도메인에서 직접 프루닝 및 재학습을 수행함으로써 수렴 속도를 가속화한다. 이 방법은 CIFAR-10, CIFAR-100, ImageNet에서 각각 63%, 50%, 74%의 웨이너포르드 도메인 스파arsity를 달성하면서 정확도 손실을 최소화한다.

ABSTRACT

Deep convolutional neural networks (CNNs) are deployed in various applications but demand immense computational requirements. Pruning techniques and Winograd convolution are two typical methods to reduce the CNN computation. However, they cannot be directly combined because Winograd transformation fills in the sparsity resulting from pruning. Li et al. (2017) propose sparse Winograd convolution in which weights are directly pruned in the Winograd domain, but this technique is not very practical because Winograd-domain retraining requires low learning rates and hence significantly longer training time. Besides, Liu et al. (2018) move the ReLU function into the Winograd domain, which can help increase the weight sparsity but requires changes in the network structure. To achieve a high Winograd-domain weight sparsity without changing network structures, we propose a new pruning method, spatial-Winograd pruning. As the first step, spatial-domain weights are pruned in a structured way, which efficiently transfers the spatial-domain sparsity into the Winograd domain and avoids Winograd-domain retraining. For the next step, we also perform pruning and retraining directly in the Winograd domain but propose to use an importance factor matrix to adjust weight importance and weight gradients. This adjustment makes it possible to effectively retrain the pruned Winograd-domain network without changing the network structure. For the three models on the datasets of CIFAR10, CIFAR-100, and ImageNet, our proposed method can achieve the Winograd domain sparsities of 63%, 50%, and 74%, respectively.

연구 동기 및 목표

• 프루닝에 의한 스파arsity와 웨이너포르드 컨볼루션 간의 상호 불일치 문제를 해결하기 위해, 일반적으로 변환 과정에서 스파arsity가 파손되는 것을 방지하기 위함.
• 네트워크 구조 수정 없이도 웨이너포르드 도메인에서 고수준의 스파arsity를 달성하고, 금방이 지나치게 느린 재학습을 피하기 위함.
• 구조적 프루닝을 통해 공간 도메인의 스파arsity를 유지하고, 효과적인 웨이너포르드 도메인 재학습을 가능하게 하기 위함.
• 중요도 요소 행렬을 도입하여 웨이너포르드 도메인 재학습에서 기울기 조정을 통해 초저속 학습률이 필요로 하는 문제를 줄이기 위함.

제안 방법

• 스페이셜 구조적 프루닝은 스파티컬 웨이트 프루닝을 공간 도메인에서 적용하여 웨이너포르드 도메인으로의 스파arsity 전이를 최대화하도록 설계된다.
• 이 방법은 사전 정의된 변환 행렬 G와 B를 사용하여 공간 도메인의 가중치를 웨이너포르드 도메인으로 변환하면서도 구조적 스파arsity를 유지한다.
• 웨이너포르드 직접 프루닝은 웨이너포르드 도메인에서 직접 프루닝 및 재학습을 수행하며, 원래의 네트워크 아키텍처를 유지한다.
• 중요도 요소 행렬 F는 웨이너포르드 도메인 가중치의 출력 활성화에 대한 영향력을 기반으로 기울기 크기를 조정하기 위해 도입된다.
• 중요도 요소 행렬은 출력 활성화가 가중치 변화에 얼마나 민감한지에 따라 계산되며, 이는 더 효과적이고 빠른 재학습을 가능하게 한다.
• 이 접근법은 두 단계로 구성된다: (1) 웨이너포르드 도메인 재학습을 처음부터 피하기 위해 공간 구조적 프루닝을 수행하고, (2) 기울기 조정을 통한 웨이너포르드 직접 프루닝을 통해 스파arsity를 추가로 증가시킨다.

실험 결과

연구 질문

• RQ1 공간 도메인에서의 구조적 프루닝이 웨이너포르드 도메인으로의 스파arsity 전이를 효과적으로 수행할 수 있는가? 이는 웨이너포르드 도메인에서의 재학습이 필요로 하지 않는다.
• RQ2 웨이너포르드 도메인에서 직접 프루닝 및 재학습을 수행할 경우, 고수준의 스파arsity를 달성하면서도 모델 정확도를 유지할 수 있는가?
• RQ3 중요도 요소 행렬이 네트워크 아키텍처를 변경하지 않고도 웨이너포르드 도메인 재학습의 수렴 속도와 효과를 향상시킬 수 있는가?
• RQ4 기존의 접근 방식인 스파ARSE 웨이너포르드 컨볼루션과 웨이너포르드-렐루 프루닝과 비교할 때, 제안된 방법은 스파arsity와 정확도 측면에서 어떤가?

주요 결과

• 제안된 스페이셜-웨이너포르드 프루닝은 CIFAR-10에서 63%의 웨이너포르드 도메인 스파arsity를 달성하면서 정확도 손실이 0.1% 이하에 그친다.
• CIFAR-100에서는 50%의 웨이너포르드 도메인 스파arsity를 달성하면서 원래 정확도에 근접한 성능을 유지한다.
• ImageNet에서는 74%의 웨이너포르드 도메인 스파arsity를 달성하며 기존 방법을 초월하며, 정확도 손실이 0.1% 미만이다.
• 중요도 요소 행렬을 사용함으로써, 스파arsity를 76%로 프루닝할 경우 정확도 손실이 22%에서 10%로 감소하여 모델 성능 유지를 위한 효과가 입증되었다.
• 10 에포크의 웨이너포르드 재학습에서 중요도 요소 행렬을 사용할 경우 정확도 손실이 0.2%로 감소하며, 기울기 조정 없이 수행할 경우 0.7%보다 낮아, 수렴 속도 향상 효과를 입증하였다.
• 이 방법은 웨이너포르드 도메인 재학습에서 극도로 낮은 학습률이 필요로 하는 문제를 피할 수 있어, 기존 방법보다 더 빠른 수렴을 가능하게 한다.