[논문 리뷰] DyVEDeep: Dynamic Variable Effort Deep Neural Networks

Sanjay Ganapathy, Swagath Venkataramani외 2명|arXiv (Cornell University)|2017. 04. 04.

Advanced Neural Network Applications참고 문헌 1인용 수 5

한 줄 요약

DyVEDeep는 입력의 어려움에 따라 계산량을 동적으로 조절하는 입력 인식 기반 접근법을 제안하여 딥 네ural 네트워크(DNN)의 추론 계산을 줄인다. 세 가지 계산 노력 조절 장치—스패arsity 기반 프루닝, 특징 수준의 근사, 레이어 수준의 스킵—을 사용하여 CIFAR-10 및 ImageNet 벤치마크에서 <0.5% 정확도 손실로 2.1×–2.6× 적은 스칼라 연산과 1.8×–2.3× 빠른 추론을 달성한다.

ABSTRACT

Deep Neural Networks (DNNs) have advanced the state-of-the-art in a variety of machine learning tasks and are deployed in increasing numbers of products and services. However, the computational requirements of training and evaluating large-scale DNNs are growing at a much faster pace than the capabilities of the underlying hardware platforms that they are executed upon. In this work, we propose Dynamic Variable Effort Deep Neural Networks (DyVEDeep) to reduce the computational requirements of DNNs during inference. Previous efforts propose specialized hardware implementations for DNNs, statically prune the network, or compress the weights. Complementary to these approaches, DyVEDeep is a dynamic approach that exploits the heterogeneity in the inputs to DNNs to improve their compute efficiency with comparable classification accuracy. DyVEDeep equips DNNs with dynamic effort mechanisms that, in the course of processing an input, identify how critical a group of computations are to classify the input. DyVEDeep dynamically focuses its compute effort only on the critical computa- tions, while skipping or approximating the rest. We propose 3 effort knobs that operate at different levels of granularity viz. neuron, feature and layer levels. We build DyVEDeep versions for 5 popular image recognition benchmarks - one for CIFAR-10 and four for ImageNet (AlexNet, OverFeat and VGG-16, weight-compressed AlexNet). Across all benchmarks, DyVEDeep achieves 2.1x-2.6x reduction in the number of scalar operations, which translates to 1.8x-2.3x performance improvement over a Caffe-based implementation, with &lt; 0.5% loss in accuracy.

연구 동기 및 목표

• 자원 제약이 있는 장치에서의 딥 네ural 네트워크(DNN) 추론에 대한 점점 커지는 계산 부담을 해결한다.
• 모든 입력에 대해 동일한 계산을 적용하는 정적 DNN의 비효율성을 극복한다.
• 입력 간 이질성—일부 입력은 다른 입력보다 분류가 더 쉬움—을 활용하여 필요할 때만 계산 자원을 할당한다.
• 적응형 계산을 통해 정확도를 유지하면서 스칼라 연산 수와 추론 시간을 크게 줄인다.
• 기존 DNN 프레임워크(Caffe 등)와 원활하게 통합 가능한 소프트웨어 기반, 런타임 효율적인 메커니즘을 개발한다.

제안 방법

• 다양한 군집 수준에서 작동하는 세 가지 동적 노력 장치—뉴런 수준(SPET), 특징 수준(SFMA), 레이어 수준(SDSS)—를 도입하여 계산을 줄인다.
• SPET은 활성화 분산이 낮은 뉴런을 식별하고 건너뛰며, 이는 분류에 거의 기여하지 않는다고 가정한다.
• SFMA는 공간적 분산이 낮은 특징 맵을 근사하여 정보가 적은 영역의 계산을 줄인다.
• SDSS는 초기 예측에 대한 입력 기반 신뢰도에 따라 일부 레이어를 선택적으로 스킵하여 깊은 레이어의 계산을 줄인다.
• 런타임 결정 논리에 기반해 입력 특성에 따라 계산 이전에 동적 장치를 통합하여 추론 시점에 적용한다.
• 정규화 및 임계값 설정(예: DelAct_thresh)을 적용하여 근사 정확도와 계산 절감 간의 균형을 확보한다.

실험 결과

연구 질문

• RQ1 입력 기반의 어려움에 따라 계산을 동적으로 할당하는 것이 정확도를 희생시키지 않고 DNN 추론 효율성을 향상시킬 수 있는가?
• RQ2 뉴런, 특징, 레이어 수준의 다양한 군집 수준에서의 계산 감소가 다양한 DNN 아키텍처에서 스칼라 연산 수를 얼마나 효과적으로 줄이는가?
• RQ3 표준 DNN 추론 파이프라인에 동적 노력 메커니즘을 통합할 때의 런타임 오버헤드는 얼마나 되는가?
• RQ4 DNN에서 분류 성능 저하 없이 입력 이질성을 얼마나 잘 활용하여 계산을 스킵하거나 근사할 수 있는가?
• RQ5 제안된 노력 장치들이 다양한 네트워크 레이어와 데이터셋에서 전체 계산 절감에 기여하는 정도는 어떠한가?

주요 결과

• DyVEDeep는 CIFAR-10 및 ImageNet 변형(AlexNet, VGG-16 등 포함)을 포함한 다섯 가지 벤치마크에서 스칼라 연산 수를 2.1×에서 2.6×까지 줄였다.
• Caffe 기반 기준 대비 런타임 성능이 1.8×에서 2.3× 향상되었으며, 정확도 손실은 <0.5% 이내였다.
• SDSS 장치가 총 연산의 31%를 절감하는 데 기여했고, 이는 SPET(19%)와 SFMA(7%)를 이었다.
• 깊이 있는 컨볼루션 레이어에서 더 큰 효율성 향상(최대 2.6× 속도 향상)이 관찰되었는데, 이는 높은 활성화 분산과 흐문성 덕분이었다.
• 노력 지도 시각화 결과 DyVEDeep가 이미지의 관심 영역에 집중하여 계산을 수행함을 확인했으며, 이는 고활성도 특징과 상관이 있었다.
• 동적 장치의 런타임 오버헤드는 기준 추론 시간의 5%에 불과하여 높은 실용적 타당성을 입증했다.