[논문 리뷰] A Pre-defined Sparse Kernel Based Convolution for Deep CNNs

Souvik Kundu, Saurav Prakash외 3명|arXiv (Cornell University)|2019. 10. 02.

Advanced Neural Network Applications참고 문헌 29인용 수 4

한 줄 요약

이 논문은 사전 정의된 희소 커널 기반의 pSConv를 제안한다. 이는 훈련 이전에 2D 필터 커널 내의 영역을 고정하여 0 값 패턴을 설정함으로써, 정확도 손실을 최소화하면서 모델 복잡도를 크게 감소시킨다. CIFAR-10과 Tiny ImageNet에서 최대 4.24× 파라미터 감소와 70% FLOP 감소를 달성하였으며, 유사한 복잡도 제약 조건에서 ShuffleNet보다 정확도가 3–4% 높다.

ABSTRACT

The high demand for computational and storage resources severely impede the deployment of deep convolutional neural networks (CNNs) in limited-resource devices. Recent CNN architectures have proposed reduced complexity versions (e.g. SuffleNet and MobileNet) but at the cost of modest decreases inaccuracy. This paper proposes pSConv, a pre-defined sparse 2D kernel-based convolution, which promises significant improvements in the trade-off between complexity and accuracy for both CNN training and inference. To explore the potential of this approach, we have experimented with two widely accepted datasets, CIFAR-10 and Tiny ImageNet, in sparse variants of both the ResNet18 and VGG16 architectures. Our approach shows a parameter count reduction of up to 4.24x with modest degradation in classification accuracy relative to that of standard CNNs. Our approach outperforms a popular variant of ShuffleNet using a variant of ResNet18 with pSConv having 3x3 kernels with only four of nine elements not fixed at zero. In particular, the parameter count is reduced by 1.7x for CIFAR-10 and 2.29x for Tiny ImageNet with an increased accuracy of ~4%.

연구 동기 및 목표

• 자원 제약이 있는 엣지 디바이스에서 깊이 있는 CNN의 높은 계산 및 저장 요구량을 해결하기 위해.
• 컨볼루션 커널에 사전 정의된 희소성 메커니즘을 도입하여 모델 압축에서 정확도-복잡도 트레이드오프를 향상시키기 위해.
• 하드웨어 및 소프트웨어 구현을 단순화할 수 있도록 커널 희소성을 체계적으로 설계함으로써 효율적인 훈련과 추론을 가능하게 하기 위해.
• CNN의 고유한 공간적 희소성에도 불구하고, 사전 정의된 희소성이 완전히 연결된 레이어에서 관찰되는 것과 유사한 효과를 낼 수 있음을 보여주기 위해.

제안 방법

• pSConv는 2D 컨볼루션 커널에 고정된 사전 정의된 희소 패턴을 사용하며, 커널의 일부 무게만 비영이 되고(커널 서포트), 이는 훈련 및 추론 중에 고정된다.
• 각 3×3 커널에 대해 비영 요소의 수를 9개 중 2개, 4개, 또는 9개로 줄이며, 0 위치는 의사난수적으로 선택하고 일정하게 유지한다.
• 이 방법은 CIFAR-10과 Tiny ImageNet에서 ResNet18 및 VGG16 아키텍처에 적용되며, 표준 컨볼루션을 pSConv 레이어로 대체한다.
• 이 방법은 그룹 기반 및 포인트와이즈 컨볼루션과 수직이므로, 향후 아키텍처 탐색에 통합 가능하다.
• 표준 최적화를 사용해 엔드 투 엔드로 훈련되며, 희소성은 프루닝이 아닌 고정된 커널 패턴을 통해 강제된다.
• 이로 인해 체계적이고 예측 가능한 연결 패턴이 생성되어 소프트웨어 및 하드웨어 배포에 효율적이다.

실험 결과

연구 질문

• RQ1 2D 컨볼루션에서 사전 정의된 희소 커널 패턴이 정확도를 떨어뜨리지 않고 모델 복잡도를 크게 감소시킬 수 있는가?
• RQ2 ShuffleNet과 같은 최신 경량 CNN과 비교해 pSConv는 정확도 및 파라미터/FLOP 감소 측면에서 어떻게 성능을 내는가?
• RQ3 CNN의 고유한 공간적 희소성에도 불구하고, 사전 정의된 희소성이 완전히 연결된 레이어에서 관찰되는 것과 유사한 이점을 낳을 수 있는가?
• RQ4 pSConv는 VGG16 및 ResNet18와 같은 더 깊은 아키텍처에 적용되었을 때도 훈련 수렴성과 모델 성능을 유지할 수 있는가?
• RQ5 pSConv에서 복잡도 감소와 정확도를 균형 잡는 데 최적의 커널 서포트 크기(비영 요소 수)는 무엇인가?

주요 결과

• CIFAR-10에서 pSConv를 적용한 ResNet18의 경우 커널 서포트 크기가 2일 때 파라미터가 3.27× 감소하고 ShuffleNet보다 정확도가 3.3% 높았다.
• Tiny ImageNet에서 pSConv 기반 ResNet18의 경우 커널 서포트 크기가 4일 때 파라미터가 2.29× 감소하고 ShuffleNet보다 약 3% 높은 정확도를 기록했다.
• CIFAR-10에서 VGG16에 pSConv를 적용한 결과, 파라미터는 최대 34.0% 감소하고 FLOPs는 최대 75.4% 감소했으며, 테스트 정확도는 오직 1.4% 감소했다.
• Tiny ImageNet에서 VGG16에 pSConv를 적용한 결과, 파라미터는 최대 28.1% 감소하고 FLOPs는 최대 78.4% 감소했으며, 테스트 정확도는 2.4% 감소했다.
• pSConv 모델의 훈련 수렴 곡선은 표준 모델과 밀도적으로 유사하여 안정적인 최적화를 보였다.
• 이 방법을 통해 최대 70%의 FLOPs 감소를 이룰 수 있었고, 정확도 손실는 거의 없었으며, 강력한 복잡도-성능 트레이드오프를 입증했다.