[논문 리뷰] AI Matrix - Synthetic Benchmarks for DNN

Wei Wei, Lingjie Xu외 3명|arXiv (Cornell University)|2018. 11. 27.

Advanced Neural Network Applications참고 문헌 4인용 수 5

한 줄 요약

이 논문은 실제 응용 프로그램의 특성을 프로파일링하여 최소화되고 대표적인 DNN 워크로드를 생성하는 합성 벤치마크 프레임워크인 AI Matrix를 제안한다. 이는 적응적이고 효율적이며 저작권 문제 없이 하드웨어 성능 평가를 가능하게 한다. 계산 패턴의 통계 모델링을 통해 다양한 DNN 워크로드를 정확히 반영하면서도 벤치마크 수와 런타임을 줄인다.

ABSTRACT

Deep neural network (DNN) architectures, such as convolutional neural networks (CNN), involve heavy computation and require hardware, such as CPU, GPU, and AI accelerators, to provide the massive computing power. With the many varieties of AI hardware prevailing on the market, it is often hard to decide which one is the best to use. Thus, benchmarking AI hardware effectively becomes important and is of great help to select and optimize AI hardware. Unfortunately, there are few AI benchmarks available in both academia and industry. Examples are BenchNN[1], DeepBench[2], and Dawn Bench[3], which are usually a collection of typical real DNN applications. While these benchmarks provide performance comparison across different AI hardware, they suffer from a number of drawbacks. First, they cannot adapt to the emerging changes of DNN algorithms and are fixed once selected. Second, they contain tens to hundreds of applications and take very long time to finish running. Third, they are mainly selected from open sources, which are restricted by copyright and are not representable to proprietary applications. In this work, a synthetic benchmarks framework is firstly proposed to address the above drawbacks of AI benchmarks. Instead of pre-selecting a set of open-sourced benchmarks and running all of them, the synthetic approach generates only a one or few benchmarks that best represent a broad range of applications using profiled workload characteristics data of these applications. Thus, it can adapt to emerging changes of new DNN algorithms by re-profiling new applications and updating itself, greatly reduce benchmark count and running time, and strongly represent DNN applications of interests. The generated benchmarks are called AI Matrix, serving as a performance benchmarks matching the statistical workload characteristics of a combination of applications of interests.

연구 동기 및 목표

• 기존 DNN 벤치마크의 한계를 해결하기 위해, 고정되어 있으며 스케일이 크며 종종 저작권 제약을 받는다는 점을 개선한다.
• 실제 세계의 DNN 워크로드 특성을 반영하는 합성 벤치마크를 생성함으로써 효율적이고 대표적인 하드웨어 성능 평가를 가능하게 한다.
• 새로운 DNN 아키텍처에 동적으로 적응하기 위해 새로운 응용 프로그램의 재프로파일링을 통해 가능하게 한다.
• 다양한 DNN 워크로드의 높은 대표성을 유지하면서도 필요한 벤치마크 수를 줄인다.
• 기존 오픈소스 벤치마크 세트의 확장성 있고 재사용 가능하며 법적 안전한 대안을 제공한다.

제안 방법

• 실제 DNN 응용 프로그램을 프로파일링하여 레이어 유형, 텐서 형상, 계산 강도 등의 통계 워크로드 특성을 추출한다.
• 프로파일링된 데이터를 바탕으로 대상 워크로드의 통계 분포를 충족하는 최소한의 대표성 있는 벤치마크 세트인 AI Matrix를 합성한다.
• 프로파일링된 통계를 기반으로 제어된 아키텍처 및 계산 특성을 가진 합성 DNN 모델을 생성한다.
• FLOPs, 메모리 액세스 패턴, 레이어 연결성과 같은 성능에 중요한 특징을 유지하도록 보장한다.
• 새로운 DNN 모델을 재프로파일링하고 합성 생성 과정을 이를 바탕으로 동적으로 업데이트함으로써 벤치마크 세트를 업데이트한다.
• 다양한 하드웨어 플랫폼에서 실제 DNN 응용 프로그램과의 성능 행동을 비교하여 AI Matrix의 대표성을 검증한다.

실험 결과

연구 질문

• RQ1 합성 벤치마크 프레임워크가 다양한 실제 DNN 응용 프로그램의 성능 특성을 효과적으로 대표할 수 있는가?
• RQ2 AI Matrix는 정확한 하드웨어 비교를 유지하면서도 벤치마크 수와 실행 시간을 얼마나 줄일 수 있는가?
• RQ3 AI Matrix는 수동 재설정 없이 새로운 DNN 아키텍처에 얼마나 잘 적응하는가?
• RQ4 AI Matrix는 기존 오픈소스 DNN 벤치마크의 법적 안전하고 확장 가능한 대안으로 기능할 수 있는가?
• RQ5 계산 및 메모리 행동 측면에서 AI Matrix는 실제 워크로드에 얼마나 대표적인가?

주요 결과

• AI Matrix는 실제 DNN 워크로드의 높은 대표성을 유지하면서도 필요한 벤치마크 수를 크게 줄였다.
• 기존 수백 개의 모델을 포함한 전통적 벤치마크 세트에 비해 실행 시간을 최소화함으로써 더 빠른 벤치마킹 사이클을 가능하게 하였다.
• 재프로파일링를 통해 새로운 DNN 아키텍처에 적응함으로써 발전하는 딥러닝 트렌드에 항상 최신 상태를 유지할 수 있었다.
• 다양한 하드웨어 플랫폼에서 AI Matrix가 생성한 합성 벤치마크는 실제 DNN 응용 프로그램의 성능 추세와 매우 유사하게 나타났다.
• 기존 모델 가중치나 코드에 의존하지 않기 때문에 저작권 문제를 피할 수 있었으며, 기업 및 상용 사용에 적합했다.
• 평가 결과, AI Matrix는 전체 벤치마크 세트와 비교해도 신뢰할 수 있는 하드웨어 순위 및 성능 인사이트를 제공하는 것으로 나타났다.