[논문 리뷰] QuickNet: Maximizing Efficiency and Efficacy in Deep Architectures

Tapabrata Ghosh|arXiv (Cornell University)|2017. 01. 09.

Anomaly Detection Techniques and Applications참고 문헌 10인용 수 5

한 줄 요약

QuickNet는 기존의 SqueezeNet와 같은 모델들보다 더 적은 파라미터 수와 더 빠른 추론 속도를 유지하면서 CIFAR-10에서 최고 수준의 정확도(95.7%)를 달성하는 매우 효율적인 딥 뉴럴 네트워크 아키텍처를 제안한다. 깊이 분리형 합성곱과 파rametric ReLU 유닛을 조합하여 계산 비용과 모델 크기를 감소시켜 자원이 제한된 시스템에서도 뛰어난 성능을 발휘하면서 정확도를 손상시키지 않는다.

ABSTRACT

We present QuickNet, a fast and accurate network architecture that is both faster and significantly more accurate than other fast deep architectures like SqueezeNet. Furthermore, it uses less parameters than previous networks, making it more memory efficient. We do this by making two major modifications to the reference Darknet model (Redmon et al, 2015): 1) The use of depthwise separable convolutions and 2) The use of parametric rectified linear units. We make the observation that parametric rectified linear units are computationally equivalent to leaky rectified linear units at test time and the observation that separable convolutions can be interpreted as a compressed Inception network (Chollet, 2016). Using these observations, we derive a network architecture, which we call QuickNet, that is both faster and more accurate than previous models. Our architecture provides at least four major advantages: (1) A smaller model size, which is more tenable on memory constrained systems; (2) A significantly faster network which is more tenable on computationally constrained systems; (3) A high accuracy of 95.7 percent on the CIFAR-10 Dataset which outperforms all but one result published so far, although we note that our works are orthogonal approaches and can be combined (4) Orthogonality to previous model compression approaches allowing for further speed gains to be realized.

연구 동기 및 목표

• 메모리 및 계산 자원이 제한된 시스템에 배포하기 위해 효율성과 정확도를 동시에 극대화하는 딥 러닝 아키텍처를 설계하는 것.
• 기존의 빠른 네트워크들과 비교해 모델 크기와 추론 시간을 줄이면서도 분류 정확도를 유지하거나 향상시키는 것.
• 깊이 분리형 합성곱과 학습 가능한 활성화 함수 간의 상호보완적 작용을 탐색하여 효율적인 네트워크 설계를 위한 기반을 마련하는 것.
• 기존의 모델 압축 기법들과 수직적(orthogonal)이 되어, 병합 시 추가적인 속도 향상이 가능한 모델을 구축하는 것.

제안 방법

• 기본 합성곱에 비해 파라미터 수와 FLOPs를 크게 줄이는 데 깊이 분리형 합성곱을 도입한다.
• 추론 시 leaky ReLU와 동일한 계산 비용을 가지지만 학습 가능한 음수 기울기를 허용하는 파arametric ReLU 유닛을 도입한다.
• 기본 Darknet 아키텍처를 수정하여 표준 합성곱을 깊이 분리형 합성곱으로 대체하고, ReLU를 파arametric ReLU로 교체한다.
• 유도된 아키텍처를 구조적 효율성을 활용한 Inception 모듈의 압축된 변형으로 해석한다.
• 파arametric ReLU 유닛 내 학습 가능한 파라미터를 최적화하기 위해 수정된 학습 프로토콜을 적용한다.
• 정확도, 파라미터 수, 추론 속도를 측정하기 위해 CIFAR-10 데이터셋에서 아키텍처를 검증한다.

실험 결과

연구 질문

• RQ1 깊이 분리형 합성곱과 파arametric ReLU 유닛이 함께 딥 뉴럴 네트워크의 효율성과 정확도를 향상시킬 수 있는가?
• RQ2 SqueezeNet와 같은 기존의 빠른 네트워크들과 비교해 제안된 아키텍처는 정확도와 추론 속도에서 어떻게 비교되는가?
• RQ3 분류 성능을 손상시키지 않고 모델 크기를 얼마나 줄일 수 있는가?
• RQ4 제안된 아키텍처는 기존의 모델 압축 기법들과 호환되어 추가 최적화가 가능한가?

주요 결과

• QuickNet는 제출 당시 기준으로 이전에 발표된 결과 중 유일하게 이를 뛰어넘지 못한 하나를 제외하고는 모든 결과를 초월하는 CIFAR-10 데이터셋에서 95.7%의 top-1 정확도를 달성한다.
• 기존 아키텍처들보다 훨씬 적은 파라미터 수를 사용하여 메모리 제약 환경에서 더 적합한 모델이 된다.
• 깊이 분리형 합성곱으로 인한 FLOPs 감소 덕분에 SqueezeNet 및 기타 빠른 네트워크들보다 추론 속도가 크게 향상된다.
• 파arametric ReLU 유닛은 테스트 시점에서 leaky ReLU와 동일한 계산 비용을 가지며, 학습 가능한 파라미터 덕분에 성능 향상을 이끌어내지만 런타임 오버헤드가 없다.
• 기존의 모델 압축 기법들과 수직적이므로, 프루닝이나 양자화와 병합했을 때 추가적인 속도 향상이 가능하다.