[논문 리뷰] An Analysis of Deep Neural Network Models for Practical Applications

Alfredo Canziani, Adam Paszke외 1명|arXiv (Cornell University)|2016. 05. 24.

Advanced Neural Network Applications참고 문헌 11인용 수 981

한 줄 요약

이 논문은 정확도, 메모리, 매개변수, 계산량, 추론 시간, 전력 측면에서 최첨단 DNN 아키텍처를 ImageNet으로 분석하고, 쌍곡선 형태의 정확도-추론 시간 트레이드오프와 에너지 제약의 영향을 강조한다.

ABSTRACT

Since the emergence of Deep Neural Networks (DNNs) as a prominent technique in the field of computer vision, the ImageNet classification challenge has played a major role in advancing the state-of-the-art. While accuracy figures have steadily increased, the resource utilisation of winning models has not been properly taken into account. In this work, we present a comprehensive analysis of important metrics in practical applications: accuracy, memory footprint, parameters, operations count, inference time and power consumption. Key findings are: (1) power consumption is independent of batch size and architecture; (2) accuracy and inference time are in a hyperbolic relationship; (3) energy constraint is an upper bound on the maximum achievable accuracy and model complexity; (4) the number of operations is a reliable estimate of the inference time. We believe our analysis provides a compelling set of information that helps design and engineer efficient DNNs.

연구 동기 및 목표

• 실용적 배치를 위해 정확도만으로는 DNN을 평가해야 한다는 필요성을 제시합니다.
• 실세계 애플리케이션에 관련된 여러 자원 지표에 대해 아키텍처 간 비교를 제공합니다.
• 실용적 제약하에서 정확도, 계산 및 에너지 간의 관계를 식별합니다.
• 효율적인 네트워크 설계 및 배치 전략을 위한 인사이트를 제시합니다.

제안 방법

• 네트워크 간 공정한 비교를 가능하게 하기 위해 단일 중앙 크롭 샘플링으로 상위-1 정확도를 수집하고 재평가합니다.
• Jetson TX1에서 Torch7 및 cuDNN/cuD 백엔드로 추론 시간, 메모리 사용량 및 전력을 측정합니다.
• 커스텀 오픈 소스 도구로 연산 수를 계산하여 추론 시간과의 관계를 파악합니다.
• 거래 배치 크기 전반에 걸쳐 고대역폭 전류 측정 등 전력 소비를 분석합니다.
• 정확도 대 연산 수, 매개변수 및 처리량을 시각화하여 트레이드오프를 식별합니다.
• 실용적 효율성을 위해 설계된 효율적 아키텍처 ENet를 소개합니다.

실험 결과

연구 질문

• RQ1 현대의 DNN 아키텍처가 실용 하드웨어에서 정확도, 메모리 점유율, 매개변수 수, 연산, 추론 시간 및 전력 소비에서 어떻게 비교됩니까?
• RQ2 실제 배치 제약 하에서 정확도, 처리량 및 에너지 간의 관계는 무엇입니까?
• RQ3 ENet와 같은 아키텍처가 매개변수당 정보 밀도 및 전반적 효율성 측면에서 더 큰 모델보다 우수할 수 있습니까?

주요 결과

• ResNet 및 Inception 계열은 이전 네트워크들보다 정확도에서 크게 앞서며, 기존 아키텍처 대비 최소 7%의 개선을 보입니다.
• VGG-16/19는 계산 및 매개변수 수 모두에서 가장 비용이 많이 드는 아키텍처로, 다른 네트워크와는 고립된 클러스터를 형성합니다.
• 아키텍처 간 정확도와 추론 시간 사이에 쌍곡선 관계가 존재합니다.
• 연산 수는 특히 고정된 배치 크기에서 추론 시간의 신뢰할 수 있는 추정치입니다.
• 전력 소비는 배치 크기와 아키텍처에 거의 독립적이며, 최대치가 아이들 전력에 약 11.8 W를 추가합니다.
• ENet는 가장 높은 정보 밀도를 달성하며 VGG-19 대비 최대 24배 적은 매개변수를 사용하면서도 경쟁력 있는 정확도를 유지합니다.