[논문 리뷰] Network Sketching: Exploiting Binary Structure in Deep CNNs

Yiwen Guo, Anbang Yao외 2명|arXiv (Cornell University)|2017. 06. 07.

Advanced Neural Network Applications인용 수 13

한 줄 요약

이 논문은 사전 훈련된 필터 벡터 내의 이진 구조를 활용하여 텐서 전개를 통해 이진 가중치 컨볼루션 네트워크를 생성하는 새로운 방법인 네트워크 스케치를 소개한다. 이는 효율적이고 정확한 추론을 가능하게 하며, 최소한의 메모리 오버헤드로 ImageNet에서 최신 기술 수준의 성능을 달성한다. 기존의 이진 가중치 모델인 BWN과 BinaryConnect보다 AlexNet과 ResNet 모두에서 뛰어난 성능을 발휘한다.

ABSTRACT

Convolutional neural networks (CNNs) with deep architectures have substantially advanced the state-of-the-art in computer vision tasks. However, deep networks are typically resource-intensive and thus difficult to be deployed on mobile devices. Recently, CNNs with binary weights have shown compelling efficiency to the community, whereas the accuracy of such models is usually unsatisfactory in practice. In this paper, we introduce network sketching as a novel technique of pursuing binary-weight CNNs, targeting at more faithful inference and better trade-off for practical applications. Our basic idea is to exploit binary structure directly in pre-trained filter banks and produce binary-weight models via tensor expansion. The whole process can be treated as a coarse-to-fine model approximation, akin to the pencil drawing steps of outlining and shading. To further speedup the generated models, namely the sketches, we also propose an associative implementation of binary tensor convolutions. Experimental results demonstrate that a proper sketch of AlexNet (or ResNet) outperforms the existing binary-weight models by large margins on the ImageNet large scale classification task, while the committed memory for network parameters only exceeds a little.

연구 동기 및 목표

• 기존의 이진 가중치 CNN의 낮은 정확도 문제를 해결하고자 하며, 특히 ImageNet과 같은 대규모 데이터셋에서의 성능을 향상시키고자 한다.
• 초기 훈련 없이도 더 정확하고 신뢰할 수 있는 추론을 가능하게 하기 위해 설계된다.
• 스케칭 과정에서 정밀도 조절을 통해 모델의 효율성과 정확도를 조율할 수 있는 탄력적이고 제어 가능한 방법을 제공하고자 한다.
• 이진 텐서 컨볼루션의 연관적 구현 방식을 제안하여 추론 시 계산 비용을 줄이고자 한다.
• 사전 훈련된 모델이 구조적 특성을 활용하여 고정밀도의 이진 네트워크로 효과적으로 변환될 수 있음을 보여주고자 한다.

제안 방법

• 사전 훈련된 필터 벡터 내의 이진 구조를 직접 활용하여 텐서 전개를 통해 이진 가중치 모델을 생성하는 코arse-to-fine 근사 과정을 수행한다.
• 직접 스케칭 후 전문화된 훈련을 수행하는 이중 단계의 정밀 조정 프로토콜을 적용한다. 이는 정밀도가 높은 가중치 업데이트를 사용한 확률적 경사 하강법를 통해 수렴성을 향상시킨다.
• 이진 텐서 컨볼루션의 연관적 구현 방식을 제안하여 부동소수점 덧셈과 뺄셈(FADDs)의 수를 줄여 추론 속도를 향상시킨다.
• 연필로 그림을 그리는 것과 유사한 코어스 투 파인 모델 근사 전략을 사용하여, 체계적이고 정밀한 이진 가중치 할당을 가능하게 한다.
• 이론적 알고리즘을 통해 스케칭 정밀도를 조절하여 정확도와 효율성의 균형을 맞추며, 모델의 정밀도와 자원 사용량 간의 트레이드오프를 가능하게 한다.
• 사전 훈련된 전체 정밀도 모델(예: AlexNet, ResNet)을 구조적 및 매개변수 최적화를 통해 이진 가중치 버전으로 변환하면서 성능 유지를 추구한다.

실험 결과

연구 질문

• RQ1 이진 가중치의 제약에도 불구하고, ImageNet에서 높은 정확도를 달성할 수 있는가? 특히 정확도 저하가 크지 않은가?
• RQ2 필터 벡터 내에 내재된 이진 구조를 활용하여 사전 훈련된 모델을 효과적으로 이진 가중치 네트워크로 변환할 수 있는가?
• RQ3 스케칭의 정밀도를 어떻게 조절할 수 있을까? 이는 모델의 효율성과 정확도 사이의 더 나은 트레이드오프를 가능하게 할 수 있는가?
• RQ4 이진 텐서 컨볼루션의 연관적 구현 방식이 추론 과정에서 FLOPs와 FADDs를 크게 줄일 수 있는가?
• RQ5 표준 벤치마크에서 BWN과 BinaryConnect와 같은 기존의 이진 가중치 CNN 방법보다 네트워크 스케치가 정확도와 효율성 측면에서 뛰어나게 성능을 발휘하는가?

주요 결과

• 최적화된 AlexNet 스케치는 ImageNet에서 상위-1 정확도 55.2%와 상위-5 정확도 78.8%를 달성하여 BWN과 BinaryConnect를 뛰어넘는 성능을 보였다.
• 18층의 ResNet 스케치는 상위-1 정확도 67.8%와 상위-5 정확도 88.4%를 기록했으며, BWN의 60.8% 상위-1 정확도를 뛰어넘고도 파라미터 수가 훨씬 적었다.
• 생성된 스케치는 기준 이진 모델보다 약간 더 많은 메모리를 사용할 뿐이며, AlexNet의 경우 파라미터 수가 약 10.1배, ResNet의 경우 약 7.4배 감소했다.
• 이진 텐서 컨볼루션의 연관적 구현 방식은 FADDs의 수를 줄여 정확도를 유지하면서도 추론 효율성을 향상시켰다.
• 전체 정밀도 업데이트를 사용한 확률적 경사 하강법를 통한 훈련은 직접 스케칭보다 수렴성이 뛰어나고 성능 향상이 뚜렷했다.
• 네트워크 스케치는 정확도 저하가 최소한이면서도 대규모 데이터셋에서 신뢰할 수 있는 추론을 가능하게 하여, 모바일 배포에 매우 유망한 잠재력을 보였다.