[논문 리뷰] DNNAbacus: Toward Accurate Computational Cost Prediction for Deep Neural Networks

Lu Bai, Weixing Ji외 4명|arXiv (Cornell University)|2022. 05. 24.

Advanced Neural Network Applications인용 수 5

한 줄 요약

DNNAbacus는 파이토치, 텐서플로우 및 다양한 하드웨어에서 딥 뉴럴 네트워크의 학습 시간과 메모리 비용을 정확하게 예측하기 위한 경량이며 블랙박스 모델을 제안한다. 새로운 네트워크 구조 행렬 표현 방식을 도입하고 AutoML 프레임워크를 활용하여 시간 예측의 평균 상대 오차가 0.9%이고 메모리 예측의 평균 상대 오차가 2.8%에 불과하며, 훈련 없이도 예측할 수 있는 제로샷 일반화 성능을 달성한다.

ABSTRACT

Deep learning is attracting interest across a variety of domains, including natural language processing, speech recognition, and computer vision. However, model training is time-consuming and requires huge computational resources. Existing works on the performance prediction of deep neural networks, which mostly focus on the training time prediction of a few models, rely on analytical models and result in high relative errors. %Optimizing task scheduling and reducing job failures in data centers are essential to improve resource utilization and reduce carbon emissions. This paper investigates the computational resource demands of 29 classical deep neural networks and builds accurate models for predicting computational costs. We first analyze the profiling results of typical networks and demonstrate that the computational resource demands of models with different inputs and hyperparameters are not obvious and intuitive. We then propose a lightweight prediction approach DNNAbacus with a novel network structural matrix for network representation. DNNAbacus can accurately predict both memory and time cost for PyTorch and TensorFlow models, which is also generalized to different hardware architectures and can have zero-shot capability for unseen networks. Our experimental results show that the mean relative error (MRE) is 0.9% with respect to time and 2.8% with respect to memory for 29 classic models, which is much lower than the state-of-the-art works.

연구 동기 및 목표

• 딥 뉴럴 네트워크의 계산 비용을 예측하는 기존 분석 모델에서 높은 평균 상대 오차 문제를 해결하기 위해.
• 파이토치, 텐서플로우 등의 다양한 딥 러닝 프레임워크에서 학습 시간과 최대 GPU 메모리 사용량을 둘 다 정확하게 예측할 수 있는 통합 모델을 개발하기 위해.
• 재훈련 없이도 새로운 네트워크 아키텍처에 대해 제로샷 일반화를 가능하게 하기 위해.
• 학습 이전에 자원 수요를 정확히 예측하여 데이터 센터 내 자원 할당 및 작업 스케줄링을 효율적으로 지원하기 위해.
• 기존 연구들이 추론 또는 학습 시간에만 집중하거나 메모리 사용량을 예측하지 못해 메모리 부족 오류가 발생하는 문제를 해결하기 위해.

제안 방법

• 이 방법은 DNN 아키텍처를 표현하기 위해 새로운 네트워크 구조 행렬을 사용하며, 레이어 유형, 차원, 연결 패턴을 압축되고 학습 가능한 형식으로 캡처한다.
• 모델 학습을 블랙박스 과정으로 간주하여 메모리 할당 히우리스틱이나 연산자 융합과 같은 내부 프레임워크 세부 정보에 의존하지 않는다.
• 17,300개의 프로파일링 데이터 포인트(29개의 고전적 모델과 5,500개의 합성 네트워크에서 유래)를 기반으로 경량 AutoML 프레임워크를 활용해 회귀 모델을 훈련한다.
• 구조적 행렬에서 파생된 특징을 사용하여 학습 시간과 피크 GPU 메모리 소비량을 예측하도록 모델을 훈련한다.
• 구조적 행렬 표현에서의 아키텍처 일반화를 통해 새로운 네트워크에 대한 일반화를 달성하고, 제로샷 추론을 가능하게 한다.
• 다양한 하드웨어 플랫폼과 프레임워크에서 검증하여 강건성과 이식 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 구조적 표현 기반의 블랙박스 모델이 DNN 학습 시간과 메모리 비용 예측에서 분석 모델을 능가할 수 있는가?
• RQ2 통합 모델이 파이토치, 텐서플로우 등의 다양한 딥 러닝 프레임워크에서 시간과 메모리 비용을 얼마나 정확하게 예측할 수 있는가?
• RQ3 재조정 없이도 새로운 네트워크 아키텍처에 대해 얼마나 잘 일반화할 수 있는가?
• RQ4 하이퍼파rameter와 입력 차원의 영향은 계산 비용에 어떤 영향을 미치며, 이러한 요소들은 예측 모델에서 신뢰성 있게 포괄될 수 있는가?
• RQ5 이 모델은 GPU 클러스터에서 작업 스케줄링 최적화에 효과적으로 활용될 수 있는가?

주요 결과

• DNNAbacus는 29개의 고전적 딥 뉴럴 네트워크에서 학습 시간 예측의 평균 상대 오차(MRE)가 0.9%이고, 메모리 비용 예측의 평균 상대 오차가 2.8%에 도달한다.
• 모델은 새로운 네트워크에 대해 효과적으로 일반화되어 재훈련 없이도 제로샷 예측 기능을 구현한다.
• PerfNet-V2와 DNNPerf와 같은 최신 기술보다 시간 및 메모리 예측 정확도에서 뛰어난 성능을 보인다.
• 구조적 행렬 표현 방식은 아키텍처의 복잡성을 성공적으로 캡처하고, 다양한 프레임워크 및 하드웨어에서 일관된 성능을 제공한다.
• 유전 알고리즘을 통합하여 작업 스케줄링에 활용했을 때, 20회의 반복 이내에 최적의 작업 할당 결과를 도출했다.
• 프로파일링 결과에 따르면 시간과 메모리 수요는 모두 하이퍼파rameter와 입력 설정에 매우 민감하게 반응함을 확인했으며, 정확한 예측의 필요성을 입증한다.