[논문 리뷰] Adaptive Selection of Deep Learning Models on Embedded Systems

Ben Taylor, Vicent Sanz Marco외 3명|arXiv (Cornell University)|2018. 05. 11.

Advanced Neural Network Applications참고 문헌 57인용 수 5

한 줄 요약

이 논문은 입력 특성과 정확도 요구 사항에 따라 동적으로 최적의 딥 뉴럴 네트워크(DNN)를 선택하는 임베디드 시스템을 위한 적응형, 기계학습 기반 런타임 모델 선택 프레임워크를 제안한다. 사전에 훈련된 DNN 세트에서 예측 모델을 오프라인으로 훈련하여 선택함으로써, Jetson TX2 플랫폼에서 ImageNet 데이터셋을 사용할 때 가장 우수한 단일 DNN 모델보다 상위-1 정확도가 7.52% 향상되고 추론 속도가 1.8배 빨라진다.

ABSTRACT

The recent ground-breaking advances in deep learning networks ( DNNs ) make them attractive for embedded systems. However, it can take a long time for DNNs to make an inference on resource-limited embedded devices. Offloading the computation into the cloud is often infeasible due to privacy concerns, high latency, or the lack of connectivity. As such, there is a critical need to find a way to effectively execute the DNN models locally on the devices. This paper presents an adaptive scheme to determine which DNN model to use for a given input, by considering the desired accuracy and inference time. Our approach employs machine learning to develop a predictive model to quickly select a pre-trained DNN to use for a given input and the optimization constraint. We achieve this by first training off-line a predictive model, and then use the learnt model to select a DNN model to use for new, unseen inputs. We apply our approach to the image classification task and evaluate it on a Jetson TX2 embedded deep learning platform using the ImageNet ILSVRC 2012 validation dataset. We consider a range of influential DNN models. Experimental results show that our approach achieves a 7.52% improvement in inference accuracy, and a 1.8x reduction in inference time over the most-capable single DNN model.

연구 동기 및 목표

• 자원 제약이 있는 임베디드 장치에서 딥 러닝 모델을 실행할 때 발생하는 높은 추론 지연과 자원 소비 문제를 해결한다.
• 정확도 손실, 개인정보 보호 우려, 네트워크 종속성 등의 이유로 모델 압축과 클라우드 오프로딩의 한계를 극복한다.
• 런타임 시에 입력에 민감한 방식으로 사전 훈련된 DNN 모델을 동적으로 선택하여 정확도와 추론 속도의 균형을 이룬다.
• 입력 복잡도와 사용자 정의 정밀도 제약 조건에 따라 적응 가능한 자동화된 학습 가능한 히우리스틱을 개발한다.

제안 방법

• 입력 데이터에서 추출한 특징(예: 이미지 복잡도, 질감, 해상도)과 해당 DNN 추론 성능 메트릭을 사용하여 오프라인으로 예측 기계학습 모델을 훈련한다.
• 정확도와 속도의 상충 관계가 다른 다양한 DNN 모델(예: MobileNet, ResNet, DenseNet)의 세트를 선택 후보로 사용한다.
• 특정 입력과 정밀도 제약 조건에 대해 최적의 DNN 모델을 예측할 수 있는 최적의 입력 특징을 자동으로 튜닝하고 선택한다.
• 런타임에선 새로운 입력의 특징을 훈련된 예측 모델에 입력하여 최적의 DNN 모델을 추론함으로써 지연 시간을 최소화하면서 정확도 목표를 충족시킨다.
• 모든 모델을 실행하는 것이 아니라 지능적인 선택을 통해 다수 모델의 장점을 조합한 앙상블 유사 동작을 구현한다.
• Jetson TX2와 같은 플랫폼과의 호환성을 확보하고 모델 선택 오버헤드를 최소화하여 실제 임베디드 환경에 최적화한다.

실험 결과

연구 질문

• RQ1 학습된 예측 모델이 특정 입력에 대해 추론 시간을 최소화하면서 필요한 정확도를 유지하는 데 있어 최적의 DNN 모델을 효과적으로 선택할 수 있는가?
• RQ2 임베디드 하드웨어에서 단일 최고 정확도 DNN 모델을 사용하는 것과 비교해 볼 때, 적응형 모델 선택은 정확도와 추론 속도 측면에서 어떻게 성능을 냈는가?
• RQ3 입력 특성에 기반한 특징이 특정 워크로드와 정밀도 제약 조건에 대해 최적의 DNN 모델을 얼마나 잘 예측할 수 있는가?
• RQ4 재훈련 없이도 다양한 DNN 아키텍처와 입력 데이터 분포에 일반화될 수 있는가?
• RQ5 임베디드 플랫폼에서 적응형 선택을 사용할 경우 정적 모델 배포 대비 정확도 및 속도 향상은 어느 정도인가?

주요 결과

• 제안된 적응형 모델 선택 방법은 ImageNet ILSVRC 2012 검증 세트에서 가장 정확도가 높은 단일 DNN 모델 대비 상위-1 정확도가 7.52% 향상되었다.
• 이 방법은 가장 성능이 뛰어난 단일 DNN 모델 대비 평균 추론 시간을 1.8배 감소시켜 실시간 성능을 크게 향상시켰다.
• 입력 특징에 기반한 예측 모델은 다양한 이미지 입력에 걸쳐 최적의 DNN 모델을 선택하는 데 높은 정확도를 달성하여 강건성을 입증했다.
• 이 방법은 정확도와 추론 속도 사이의 상충 관계를 효과적으로 균형 잡으며, 정적 모델 배포 방식보다 두 성능 지표에서 모두 뛰어난 성능을 보였다.
• 이 프레임워크는 다양한 정밀도 요구 조건에 대해 이식 가능하며, 다양한 속도-정확도 상충 관계를 가지는 사전 훈련된 DNN 세트에 적용할 수 있다.
• 런타임 모델 선택 오버헤드는 극히 미미하여, 엄격한 지연 시간과 전력 제약 조건을 가진 실시간 임베디드 응용 프로그램에 실용적이다.