[논문 리뷰] Transfer Learning for Performance Modeling of Deep Neural Network Systems

Shahriar Iqbal, Lars Kotthoff외 1명|arXiv (Cornell University)|2019. 04. 04.

EEG and Brain-Computer Interfaces인용 수 5

한 줄 요약

이 논문은 새로운 환경에서 딥 뉴럴 네트워크(DNN) 시스템의 성능 모델을 효율적으로 구축하기 위해 사전 훈련된 모델에서의 지식을 재사용함으로써 지도 샘플링(GS) 전이 학습을 제안한다. GS는 직접 모델 전이, 선형/비선형 모델 이동보다 예측 정확도에서 19.76–23.47% 향상되며, 구성 공간의 단지 2.44%만을 사용하여, 최소한의 재훈련으로 빠르고 정확한 성능 모델링을 가능하게 한다.

ABSTRACT

Modern deep neural network (DNN) systems are highly configurable with large a number of options that significantly affect their non-functional behavior, for example inference time and energy consumption. Performance models allow to understand and predict the effects of such configuration options on system behavior, but are costly to build because of large configuration spaces. Performance models from one environment cannot be transferred directly to another; usually models are rebuilt from scratch for different environments, for example different hardware. Recently, transfer learning methods have been applied to reuse knowledge from performance models trained in one environment in another. In this paper, we perform an empirical study to understand the effectiveness of different transfer learning strategies for building performance models of DNN systems. Our results show that transferring information on the most influential configuration options and their interactions is an effective way of reducing the cost to build performance models in new environments.

연구 동기 및 목표

• 큰 구성 공간으로 인해 새로운 환경에서 DNN 시스템의 성능 모델을 구축하는 데 드는 비용이 높다는 문제를 해결하기 위해.
• 환경이 변화할 때(예: 하드웨어, 워크로드) 정확한 성능 모델을 구축하는 데 필요한 노력이 전이 학습으로 줄어들 수 있는지 조사하기 위해.
• 다양한 전이 학습 전략—지난 샘플링, 직접 모델 전이, 선형/비선형 모델 이동—을 평가하고 비교하기 위해 DNN 성능 모델링에 적용한다.
• DNN 시스템의 추론 시간과 에너지 소비를 예측하기 위한 가장 효과적인 전이 전략을 특정하기 위해.

제안 방법

• 16개의 DNN 시스템 환경에서 지도 샘플링(GS), 직접 모델 전이(DM), 선형 모델 이동(LMS), 비선형 모델 이동(NMLS)의 네 가지 전이 학습 전략을 실증적으로 평가한다.
• 실험 데이터에서 회귀 트리(RT)와 신경망(NT)을 사용하여 16개 환경(2개의 하드웨어 플랫폼, 2개의 모델, 4개의 이미지 크기)에서 성능 모델을 유도한다.
• 단계적 회귀 분석을 통해 영향력 있는 구성 옵션과 상호작용(프로세서 상태, 주파수; GPU 주파수; 메모리 컨트롤러 주파수)을 식별하기 위해 전진 선택 및 후진 제거 기법을 적용한다.
• 평가 비용을 줄이기 위해 영향력 있는 구성 상호작용에 초점을 맞춘 소규모 대표 샘플(구성 공간의 2.44%)을 사용하여 전이 모델을 훈련한다.
• 평균 절대 퍼센티지 오차(Err)를 성능 측정 지표로 사용하며, GS는 영향력 있는 구성 항목으로 향한 샘플링을 안내한다.
• 기본 환경으로 제트슨 TX2에 InceptionV3와 600×600 이미지를 사용하여 15개의 대상 환경으로 전이한다.

실험 결과

연구 질문

• RQ1 새로운 환경에서 DNN 시스템 성능을 예측할 때, 지도 샘플링(GS) 전이 학습이 직접 모델 전이(DM), 선형 모델 이동(LMS), 비선형 모델 이동(NMLS)에 비해 얼마나 효과적인가?
• RQ2 추론 시간과 에너지 소비에 대해 GS를 사용할 경우, 다른 전이 학습 방법에 비해 예측 오차가 얼마나 감소하는가?
• RQ3 전체 구성 공간의 어느 정도가 새로 구축한 모델과 동등한 정확도를 달성하기 위해 필요한가?
• RQ4 하드웨어 변경과 워크로드 변경(예: 이미지 크기) 간 전이 학습의 효과성이 다를까?
• RQ5 전이 학습이 성능 모델을 구축하는 데 드는 계산 비용을 줄일 수 있을까, 동시에 높은 정확도를 유지할 수 있을까?

주요 결과

• 지도 샘플링(GS)은 모든 다른 전이 학습 방법보다 뛰어나며, 회귀 트리(RT)를 사용할 경우 추론 시간에 대해 19.76% 오차 감소, 에너지 소비에 대해 8.33% 오차 감소를 달성한다.
• 신경망(NT)을 사용할 경우, GS는 다음으로 우수한 방법(NMLS)에 비해 추론 시간 오차를 23.47% 감소시키고, 에너지 소비 오차를 12.70% 감소시킨다.
• GS는 전체 구성 공간의 단지 2.44%만을 사용하여(약 2.48시간의 계산), 새로 구축한 모델과 동등한 성능 모델 정확도를 달성한다.
• 신경망을 사용할 경우, 추론 시간에 대해 GS는 DM보다 28.09% 낮은 오차, NMLS보다 23.47% 낮은 오차를 기록한다.
• 에너지 소비에 대해선 신경망을 사용할 경우, GS는 DM보다 42.85% 낮은 오차, NMLS보다 12.70% 낮은 오차를 기록한다.
• 원래 훈련 노력의 단지 0.15%만으로도, GS는 적응 없이 원본 모델을 재사용하는 DM보다 훨씬 높은 정확도를 달성한다.