[논문 리뷰] TVM: An Automated End-to-End Optimizing Compiler for Deep Learning

Tianqi Chen, Thierry Moreau외 10명|arXiv (Cornell University)|2018. 02. 12.

Parallel Computing and Optimization Techniques참고 문헌 38인용 수 140

한 줄 요약

TVM은 그래프 수준과 연산자 수준 최적화를 결합하고 자동 스케줄링을 위한 ML 기반 비용 모델을 통해 CPU, GPU, 가속기에 걸친 성능-포터블 딥 러닝 워크로드를 가능하게 하는 엔드-투-엔드 컴파일러입니다.

ABSTRACT

There is an increasing need to bring machine learning to a wide diversity of hardware devices. Current frameworks rely on vendor-specific operator libraries and optimize for a narrow range of server-class GPUs. Deploying workloads to new platforms -- such as mobile phones, embedded devices, and accelerators (e.g., FPGAs, ASICs) -- requires significant manual effort. We propose TVM, a compiler that exposes graph-level and operator-level optimizations to provide performance portability to deep learning workloads across diverse hardware back-ends. TVM solves optimization challenges specific to deep learning, such as high-level operator fusion, mapping to arbitrary hardware primitives, and memory latency hiding. It also automates optimization of low-level programs to hardware characteristics by employing a novel, learning-based cost modeling method for rapid exploration of code optimizations. Experimental results show that TVM delivers performance across hardware back-ends that are competitive with state-of-the-art, hand-tuned libraries for low-power CPU, mobile GPU, and server-class GPUs. We also demonstrate TVM's ability to target new accelerator back-ends, such as the FPGA-based generic deep learning accelerator. The system is open sourced and in production use inside several major companies.

연구 동기 및 목표

• 다양한 하드웨어 백엔드에 걸친 성능 포터블 DL 워크로드의 최적화 도전 과제 식별.
• 고수준 DL 프로그램을 최적화된 저수준 코드로 매핑하는 엔드-투-엔드 컴파일 스택 개발.
• 텐서 표현 언어와 스케줄 공간을 통해 고수준 및 저수준 최적화를 공동으로 가능하게 한다.
• 큰 최적화 공간을 탐색하기 위한 학습 기반 비용 모델로 연산자 최적화 자동화.
• CPU, GPU, FPGA 기반 가속기에서의 이식성 및 성능 시연.

제안 방법

• 계산을 하드웨어 인트린식으로부터 분리하기 위해 텐서 표현 언어와 변환 원시를 도입한다.
• 새로운 GPU와 가속기를 지원하기 위해 Halide에서 영감을 받은 계산/스케줄 분리를 확장한다.
• 저하된 프로그램의 성능을 예측하는 ML 기반 비용 모델에 의해 안내되는 자동 최적화 프레임워크를 구축한다.
• 선언적 텐서 인트린식과 텐서화 원시를 통해 계산을 하드웨어 인트린식으로 매핑하기 위해 텐서화 도입.
• 다양한 메모리 계층 구조를 최적화하기 위해 메모리 대기시간 숨김과 명시적 메모리 스코프를 구현한다.
• 프레임워크(TensorFlow, MXNet, PyTorch 등)에서 하드웨어 특정 최적 코드로 모델을 컴파일하는 엔드-투-엔드 스택을 제공한다.

실험 결과

연구 질문

• RQ1 TVM이 벤더별 연산 라이브러리에 의존하지 않고 서버 GPU, 임베디드 GPU/CPU, FPGA 기반 가속기에서 이식 가능한 경쟁력 있는 성능을 달성할 수 있는가?
• RQ2 흑박 자동 튜닝 대비 ML 가이드 최적화가 큰 연산자/스케줄 탐색 공간을 탐색하는 데 얼마나 효과적인가?
• RQ3 다양한 백엔드에서 그래프 수준 최적화(예: 융합, 데이터 레이아웃)와 연산자 수준 코드 생성의 결합으로 어떤 이점이 있는가?
• RQ4 TPU 유사 장치 및 FPGA와 같은 특수 가속기에서 레이턴시 히딩과 텐서화가 성능에 어떤 영향을 주는가?
• RQ5 TVM이 새로운 작업 로드(예: 깊이별 합성, 저정밀 ops)와 새로운 가속기를 지원하면서 성능 이식성을 유지할 수 있는가?

주요 결과

• TVM은 백엔드 간 이식 가능한 성능을 제공하며, 기존 프레임워크의 핸드 튜닝 라이브러리 대비 1.2×에서 3.8×의 속도 향상을 달성.
• 연산자 융합 및 그래프 최적화가 메모리 접근을 크게 줄여 실행 시간을 크게 개선.
• 가상 스레딩과 명시적 메모리 스코프를 이용한 대기시간 숨김으로 컴퓨트 활용도가 증가(예: FPGA 가속기에서 ResNet의 피크가 70%에서 88%로 상승).
• 텐서화는 하드웨어 인트린식과 스케줄을 분리하여 새로운 가속기를 쉽게 지원하게 하고 마이크로 커널에서 최대 1.5× 속도 향상을 달성.
• ML 기반 비용 모델이 최적화된 연산자 구현을 더 빠르게 발견하게 해 흑박 자동 튜닝보다 속도와 구성 품질 모두에서 우수.
• 시스템은 오픈 소스로 산업계에 배포되어 CPU, GPU, FPGA 기반 가속기에서의 실용적 타당성을 보여준다.