[논문 리뷰] Pruning Deep Neural Networks using Partial Least Squares

Artur Jordão, Kloss, Ricardo외 2명|arXiv (Cornell University)|2018. 10. 17.

Advanced Neural Network Applications참고 문헌 29인용 수 7

한 줄 요약

이 논문은 분류 레이블과의 분류적 관계를 기반으로 중요하지 않은 필터를 식별하고 제거하기 위해 부분최소제곱(PLS)과 투영 내 중요도(VIP)를 사용하는 새로운 필터 프루닝 방법을 제안한다. 이 방법은 정확도 하락 없이 최대 67%의 FLOPs 감소를 달성하며, 정확도 손실이 미미한 수준에서 최대 90%의 FLOPs 감소를 이룬다. 성능 저하를 최소화하면서도 최신 기법들을 능가하는 효과적인 특징 선택 기반의 프루닝 성능을 제공한다.

ABSTRACT

Modern pattern recognition methods are based on convolutional networks since they are able to learn complex patterns that benefit the classification. However, convolutional networks are computationally expensive and require a considerable amount of memory, which limits their deployment on low-power and resource-constrained systems. To handle these problems, recent approaches have proposed pruning strategies that find and remove unimportant neurons (i.e., filters) in these networks. Despite achieving remarkable results, existing pruning approaches are ineffective since the accuracy of the original network is degraded. In this work, we propose a novel approach to efficiently remove filters from convolutional networks. Our approach estimates the filter importance based on its relationship with the class label on a low-dimensional space. This relationship is computed using Partial Least Squares (PLS) and Variable Importance in Projection (VIP). Our method is able to reduce up to 67% of the floating point operations (FLOPs) without penalizing the network accuracy. With a negligible drop in accuracy, we can reduce up to 90% of FLOPs. Additionally, sometimes the method is even able to improve the accuracy compared to original, unpruned, network. We show that employing PLS+VIP as the criterion for detecting the filters to be removed is better than recent feature selection techniques, which have been employed by state-of-the-art pruning methods. Finally, we show that the proposed method achieves the highest FLOPs reduction and the smallest drop in accuracy when compared to state-of-the-art pruning approaches. Codes are available at: https://github.com/arturjordao/PruningNeuralNetworks

연구 동기 및 목표

• 자원 제약 환경에서 깊이 신경망의 높은 계산 및 메모리 비용을 해결하기 위해.
• 기존 프루닝 기법들이 정확도를 떨어뜨리거나 높은 계산 비용을 수반하는 한계를 극복하기 위해.
• 분류 레이블과의 예측적 관계를 기반으로 중요하지 않은 필터를 자동으로 식별할 수 있는 효율적인 프루닝 기준을 개발하기 위해.
• 우수한 FLOPs 감소를 달성하면서도 네트워크 정확도를 유지하거나 심지어 향상시키기 위해.

제안 방법

• 학습 데이터를 네트워크를 통과시켜 각 컨볼루션 필터의 출력을 특징 벡터로 표현한다.
• 네트워크 전반의 모든 필터 출력에서 고차원 특징 공간을 구성한다.
• 특징과 클래스 레이블 간 공분산을 최대화하는 저차원 잠재 공간으로 고차원 공간을 투영하기 위해 부분최소제곱(PLS)을 적용한다.
• 각 필터가 잠재 공간에 기여하는 정도를 정량화하기 위해 투영 내 중요도(VIP)를 사용하여 중요도가 낮은 필터를 식별한다.
• 낮은 VIP 점수를 가진 필터를 반복적으로 제거하며, 원하는 FLOPs 감소가 달성될 때까지 반복한다.
• 프루닝 후에 재학습을 수행하여 성능을 정밀 조정한다.

실험 결과

연구 질문

• RQ1 분류적 특징 선택 기법인 PLS가 깊이 신경망에서 중요하지 않은 필터를 효과적으로 식별할 수 있는가?
• RQ2 VIP를 필터 중요도 기준으로 사용할 경우, L1-노름이나 학습된 프루닝 에이전트보다 더 나은 프루닝 성능을 낼 수 있는가?
• RQ3 PLS+VIP 기반 프루닝이 최신 기법들보다 더 높은 FLOPs 감소와 더 낮은 정확도 저하를 달성할 수 있는가?
• RQ4 제안된 방법은 원래 프루닝되지 않은 네트워크와 비교해 정확도를 향상시키거나 유지할 수 있는가?

주요 결과

• 제안된 방법은 ImageNet과 CIFAR-10에서 정확도 하락 없이 최대 67%의 FLOPs 감소를 달성한다.
• 정확도 손실이 1% 미만으로 미미한 수준이지만, VGG16 및 ResNet 아키텍처에서 최대 90%의 FLOPs 감소를 달성한다.
• ResNet56 및 ResNet110에서, Huang et al. [5]보다 1.5배 더 많은 FLOPs 감소를 이룬다. 이는 정확도 저하가 더 작다.
• VGG16에서, 제안된 방법은 비교된 모든 기법들보다 1.8배 더 많은 FLOPs 감소를 이룬다. 이는 정확도 손실이 가장 작다.
• 기존 기법들이 낮은 FLOPs를 가지는 레이어에 집중하는 데 반해, 이 방법은 고FLOPs 레이어(예: 레이어 2–10)에서 50% 이상의 필터를 제거한다.
• 일부 사례에서는 프루닝된 네트워크가 원래 프루닝되지 않은 모델보다 정확도가 향상되기도 한다.