[논문 리뷰] Daydream: Accurately Estimating the Efficacy of Optimizations for {DNN} Training

Hongyu Zhu, Amar Phanishayee외 1명|arXiv (Cornell University)|2020. 01. 01.

Advanced Neural Network Applications인용 수 12

한 줄 요약

Daydream는 CUPTI 트레이스에서 유도된 세밀한 종속성 그래프를 통해 실행을 모델링하여 DNN 최적화의 성능 영향을 예측하는 프로파일링 도구입니다. 도메인 특화 그래프 변환을 사용하여 다양한 최적화를 시뮬레이션하고, 다양한 하드웨어 및 소프트웨어 구성에서 정확한 성능 향상 예측을 가능하게 합니다.

ABSTRACT

Modern deep neural network (DNN) training jobs use complex and heterogeneous software/hardware stacks. The efficacy of software-level optimizations can vary significantly when used in different deployment configurations. It is onerous and error-prone for ML practitioners and system developers to implement each optimization separately, and determine which ones will improve performance in their own configurations. Unfortunately, existing profiling tools do not aim to answer predictive questions such as How will optimization X affect the performance of my model?. We address this critical limitation, and proposes a new profiling tool, Daydream, to help programmers efficiently explore the efficacy of DNN optimizations. Daydream models DNN execution with a fine-grained dependency graph based on low-level traces collected by CUPTI, and predicts runtime by simulating execution based on the dependency graph. Daydream maps the low-level traces using DNN domain-specific knowledge, and introduces a set of graph-transformation primitives that can easily model a wide variety of optimizations. We show that Daydream is able to model most mainstream DNN optimization techniques, and accurately predict the efficacy of optimizations that will result in significant performance improvements.

연구 동기 및 목표

• DNN 훈련에서 '최적화 X는 내 모델의 성능에 어떻게 영향을 미칠까?'라는 질문에 답할 수 있는 예측 프로파일링 도구의 부족을 해결한다.
• 다양한 배포 구성에서 각 최적화를 개별적으로 테스트하는 데 소요되는 수작업과 오류 발생 가능성을 줄인다.
• 시스템 개발자와 머신러닝 전문가가 각각의 변형을 배포하지 않고도 최적화의 효능을 효율적으로 탐색할 수 있도록 한다.
• 실제 배포 이전에 성능 향상에 대한 정확한 예측적 통찰을 제공한다.

제안 방법

• CUPTI를 통해 수집한 저수준 하드웨어 성능 트레이스에서 세밀한 종속성 그래프를 구축한다.
• 도메인 특화 지식을 사용하여 저수준 CUPTI 트레이스를 DNN 전용 연산으로 매핑함으로써 의미적 모델링을 가능하게 한다.
• 커널 융합 및 메모리 레이아웃 변경과 같은 다양한 최적화 기법을 모델링하기 위한 그래프 변환 원리를 도입한다.
• 변환된 종속성 그래프 상에서 DNN 실행을 시뮬레이션하여 런타임과 성능 향상 여부를 예측한다.
• 종속성 그래프를 활용하여 성능 변화를 계산 그래프 전반에 걸쳐 전파함으로써 최적화 영향의 정확한 예측을 가능하게 한다.
• 하드웨어 및 소프트웨어 스택 특성을 시뮬레이션 모델에 통합함으로써 구성 간 예측을 지원한다.

실험 결과

연구 질문

• RQ1 목표 구성에서 실제 배포가 필요 없이 DNN 최적화의 성능 영향을 예측할 수 있는 프로파일링 도구는 가능한가?
• RQ2 저수준 트레이스와 종속성 그래프를 사용하는 시뮬레이션 기반 접근 방식이 실제 성능 향상 예측을 얼마나 정확하게 수행할 수 있는가?
• RQ3 통합된 그래프 변환 프레임워크가 다양한 DNN 최적화 기법을 얼마나 광범위하게 모델링할 수 있는가?
• RQ4 Daydream의 예측 정확도는 다양한 하드웨어 및 소프트웨어 구성 간에 어떻게 비교되는가?

주요 결과

• Daydream는 다양한 DNN 모델과 하드웨어 구성에서 최적화로 인한 성능 향상을 정확하게 예측한다.
• 도구는 CUPTI 트레이스에서 유도된 세밀한 종속성 그래프를 사용하여 DNN 실행을 모델링함으로써 높은 예측 정확도를 달성한다.
• 그래프 변환 원리들을 통해 주로 사용되는 DNN 최적화 기법, 예를 들어 커널 융합 및 메모리 액세스 최적화를 대부분 모델링할 수 있다.
• 실제 실행 이전에 신뢰할 수 있는 예측적 통찰을 제공함으로써 최적화의 시도-오류 방식의 배포 필요성을 줄인다.