[논문 리뷰] The Power of Sparsity in Convolutional Neural Networks

Soravit Changpinyo, Mark Sandler외 1명|arXiv (Cornell University)|2017. 02. 21.

Advanced Neural Network Applications참고 문헌 38인용 수 90

한 줄 요약

이 논문은 CNN의 컨볼루션 필터 간 희소 랜덤 연결 접근법을 소개하고, 고압축에서도 밀집 네트워크와 동등하거나 더 나은 정확도를 달성할 수 있음을 보이며, 연결을 점진적으로 훈련시키는 Incremental training을 통해 시간이 지남에 따라 밀집화하는 방법을 탐구한다.

ABSTRACT

Deep convolutional networks are well-known for their high computational and memory demands. Given limited resources, how does one design a network that balances its size, training time, and prediction accuracy? A surprisingly effective approach to trade accuracy for size and speed is to simply reduce the number of channels in each convolutional layer by a fixed fraction and retrain the network. In many cases this leads to significantly smaller networks with only minimal changes to accuracy. In this paper, we take a step further by empirically examining a strategy for deactivating connections between filters in convolutional layers in a way that allows us to harvest savings both in run-time and memory for many network architectures. More specifically, we generalize 2D convolution to use a channel-wise sparse connection structure and show that this leads to significantly better results than the baseline approach for large networks including VGG and Inception V3.

연구 동기 및 목표

• CNN의 크기와 연산을 리소스 한정 기기에서 배포하기 위해 줄이려는 동기를 제공한다.
• 고정된 희소 채널-별 연결이 큰 정확도 손실 없이 밀집 연결을 대체할 수 있는지 조사한다.
• 다양한 압축률에서 여러 아키텍처에 대해 희소 랜덤 연결과 깊이 곱의 비교를 수행한다.
• 연결을 점진적으로 활성화하는 Incremental training을 통해 학습 속도를 높이고 성장 가능성을 가능하게 한다.
• 고정된 희소 패턴을 통한 하드웨어 친화적 네트워크 압축에 대한 실용적 지침을 제공한다.

제안 방법

• 특징 맵 간의 고정된 공간적 연결 구조를 일반화하여 채널-별 2D 컨볼루션을 확장한다.
• 각 출력 채널이 입력 채널의 일부에만 연결되도록 하는 희소 랜덤 연결을 정의하되 공간적 컨볼루션 구조를 보존한다.
• 매우 희소한 네트워크로 시작해 학습과정에서 점진적으로 연결을 밀도화하는 Incremental training을 도입한다.
• MNIST, CIFAR-10, ImageNet(Inception-V3 및 VGG-16n)에서 다양한 압축 수준에서 희소 랜덤 연결과 깊이 곱을 비교한다.
• 주요 지표로 파라미터(Params)와 곱셈-덧셈(MAdds)을 사용하고, ImageNet 실험에서는 정확도를 P@1로 측정한다.

실험 결과

연구 질문

• RQ1 CNN에서 고정된 채널-별 희소 연결 패턴이 높은 압축에서도 정확도를 밀집 아키텍처에 비해 보존하는가?
• RQ2 희소 랜덤 연결과 깊이 곱이 파라미터 효율성과 정확도 측면에서 크기가 다른 네트워크들 사이에서 어떻게 비교되는가?
• RQ3 학습 중에 희소 연결을 밀도화하는 Incremental training이 학습 속도를 높이면서 최종 정확도를 보존하거나 향상시킬 수 있는가?
• RQ4 고정된 희소 연결 패턴을 사용할 때 하드웨어 친화적 CNN 설계에 어떤 실용적 시사점이 있는가?

주요 결과

• 희소 랜덤 연결은 동일한 파라미터 예산에서 밀집 컨볼루션의 정확성과 종종 동등하거나 더 나은 성능을 달성하는 경우가 많으며, 특히 고 압축에서 그렇다.
• Inception-V3에서 희소 네트워크는 파라미터를 크게 줄이면서도 광범위한 희소성 수준에서 경쟁력 있는 정확도를 유지한다(예: 5.70B MAdds 및 22M Params에서 최대 77% P@1까지).
• Inception-V3의 경우 혼합 구성(예: 0.50/0.01 희소성)은 90k 파라미터와 43.0MAdds로 40.3 P@1을 달성하고, 더 높은 희소성(0.003)에서 158k 파라미터와 82.0MAdds로 46.1 P@1을 얻는 등 성능이 균형 있게 나타난다.
• ImageNet에서 Inception-V3 및 VGG-16n에 대해 희소 패턴은 대략 수천만에서 수십만으로 파라미터를 극적으로 줄이면서도 동일한 컴퓨트 예산에서 밀집 대비 정확도에 필적하거나 이를 상회한다.
• 연결을 점진적으로 추가하는 Incremental training은 일부 설정에서 희소 네트워크가 전체 밀집 모델에 맞추거나 이를 능가하도록 만들고, 초기 학습 단계의 계산 축소로 학습을 앞당길 수 있다.