[논문 리뷰] An Analytic Model for Cost-Benefit Analysis of Dataflows in DNN Accelerators

Hyoukjun Kwon, Michael Pellauer외 1명|arXiv (Cornell University)|2018. 05. 04.

Parallel Computing and Optimization Techniques인용 수 5

한 줄 요약

이 논문은 공간적·시간적 재사용과 하드웨어 점유율을 모델링하여 DNN 가속기 데이터플로우의 성능과 에너지 효율성을 정량화하는 분석적 비용 모델인 MAESTRO를 제안한다. 이 모델을 통해 48억 개의 구성에 대한 효율적인 설계 공간 탐색이 가능해졌으며, 1초당 0.17백만 개의 설계를 처리해 250만 개의 유효한 설계를 식별했고, 이는 최적의 처리량 및 에너지 효율성을 동시에 확보한 파레토 최적 해를 포함한다.

ABSTRACT

The data partitioning and scheduling strategies used by DNN accelerators to leverage reuse and perform staging are known as dataflow, and they directly impact the performance and energy efficiency of DNN accelerator designs. An accelerator microarchitecture dictates the dataflow(s) that can be employed to execute a layer or network. Selecting an optimal dataflow for a layer shape can have a large impact on utilization and energy efficiency, but there is a lack of understanding on the choices and consequences of dataflows, and of tools and methodologies to help architects explore the co-optimization design space. In this work, we first introduce a set of data-centric directives to concisely specify the space of DNN dataflows in a compilerfriendly form. We then show how these directives can be analyzed to infer various forms of reuse and to exploit them using hardware capabilities. We codify this analysis into an analytical cost model, MAESTRO (Modeling Accelerator Efficiency via Spatio-Temporal Reuse and Occupancy), that estimates various cost-benefit tradeoffs of a dataflow including execution time and energy efficiency for a DNN model and hardware configuration. We demonstrate the use of MAESTRO to drive a hardware design space exploration (DSE) experiment, which searches across 480M designs to identify 2.5M valid designs at an average rate of 0.17M designs per second, including Pareto-optimal throughput- and energy-optimized design points.

연구 동기 및 목표

• DNN 가속기 데이터플로우의 트레이드오프를 분석하기 위한 체계적인 이해와 도구의 부족을 해결하기 위해.
• 데이터 중심 지시어를 사용하여 데이터플로우 전략을 컴파일러 우호적인 형식으로 명세화하기 위해.
• 재사용 패턴과 하드웨어 활용도를 모델링하여 실행 시간과 에너지 효율성을 추정하기 위해.
• DNN 가속기의 스케일러블한 하드웨어 설계 공간 탐색(DSE)을 가능하게 하기 위해.
• 처리량과 에너지 효율성 간의 균형을 잡은 파레토 최적 설계를 식별하기 위해.

제안 방법

• 컴파일러 우호적인 형식으로 DNN 데이터플로우의 공간을 간결하게 명세화할 수 있는 데이터 중심 지시어의 집합을 도입하기 위해.
• 이 지시어들을 분석하여 DNN 워크로드에서의 공간적 및 시간적 재사용 패턴을 추론하기 위해.
• 재사용과 하드웨어 점유율을 바탕으로 실행 시간과 에너지 효율성을 추정하는 분석적 비용 모델인 MAESTRO를 수립하기 위해.
• 모델을 활용해 48억 개의 구성에 걸쳐 자동화되고 고속의 설계 공간 탐색(DSE)을 수행하기 위해.
• 하드웨어 능력 모델링을 활용해 데이터플로우 선택을 성능 및 에너지 지표로 매핑하기 위해.
• 모델을 적용하여 처리량과 에너지 효율성에서 파레토 최적의 유효한 설계를 식별하기 위해.

실험 결과

연구 질문

• RQ1 DNN 가속기의 데이터플로우 구성은 체계적 분석을 위해 어떻게 형식적이고 압축적으로 명세화할 수 있는가?
• RQ2 다양한 데이터플로우 선택이 재사용 활용도, 실행 시간, 에너지 효율성에 미치는 영향은 무엇인가?
• RQ3 분석적 모델이 광범위한 설계 공간에서 성능과 에너지 트레이드오프를 정확하게 예측할 수 있는가?
• RQ4 이러한 모델은 DNN 가속기의 하드웨어 설계 공간 탐색을 얼마나 효율적으로 가능하게 하는가?
• RQ5 DNN 가속기 데이터플로우에서 처리량과 에너지 효율성 간의 파레토 최적 트레이드오프는 무엇인가?

주요 결과

• MAESTRO는 평균적으로 1초당 0.17백만 개의 설계를 처리하는 고속의 설계 공간 탐색을 가능하게 한다.
• 이 방법은 48억 개의 잠재적 DNN 가속기 구성에 대해 탐색을 수행하여 250만 개의 유효한 설계를 식별했다.
• 모델은 처리량과 에너지 효율성을 균형 잡은 파레토 최적 설계 포인트를 식별했다.
• 데이터 중심 지시어의 사용은 데이터플로우 전략을 정확하고 컴파일러 우호적으로 명세화할 수 있도록 했다.
• 분석적 모델은 재사용 활용도와 하드웨어 점유율을 포함한 데이터플로우 선택의 비용-편익 트레이드오프를 정확히 포착했다.
• 이 프레임워크는 실제 DNN 가속기 설계 탐색에 있어 확장성과 실용성을 입증했다.