[논문 리뷰] AsyncTaichi: Whole-Program Optimizations for Megakernel Sparse Computation and Differentiable Programming.

Yuanming Hu, Mingkuan Xu외 2명|arXiv (Cornell University)|2020. 12. 15.

Parallel Computing and Optimization Techniques참고 문헌 16인용 수 1

한 줄 요약

이 논문은 Taichi에서 희소성과 미분 가능한 계산에서 불필요한 리스트 생성을 줄이는 전체 프로그램 최적화 프레임워크인 AsyncTaichi를 제안한다. 런타임에 전체 계산 그래프를 분석하고 커널 간 최적화를 수행함으로써, 코드 수정 없이도 희소 그리드 시뮬레이션 및 미분 가능한 프로그래밍 워크로드에서 커널 실행 횟수를 3.07–3.90배 줄이고 성능을 1.73–2.76배 향상시킨다.

ABSTRACT

We present a whole-program optimization framework for the Taichi programming language. As an imperative language tailored for sparse and differentiable computation, Taichi's unique computational patterns lead to attractive optimization opportunities that do not present in other compiler or runtime systems. For example, to support iteration over sparse voxel grids, excessive list generation tasks are often inserted. By analyzing sparse computation programs at a higher level, our optimizer is able to remove the majority of unnecessary list generation tasks. To provide maximum programming flexibility, our optimization system conducts on-the-fly optimization of the whole computational graph consisting of Taichi kernels. The optimized Taichi kernels are then just-in-time compiled in parallel, and dispatched to parallel devices such as multithreaded CPU and massively parallel GPUs. Without any code modification on Taichi programs, our new system leads to $3.07 - 3.90 imes$ fewer kernel launches and $1.73 - 2.76 imes$ speed up on our benchmarks including sparse-grid physical simulation and differentiable programming.

연구 동기 및 목표

• Taichi에서 과도한 리스트 생성으로 인한 희소성 및 미분 가능한 프로그래밍의 성능 저하 문제를 해결하기 위해.
• 코드 수정 없이도 여러 Taichi 커널에 걸쳐 전체 프로그램 최적화를 가능하게 하기 위해.
• 커널 실행 오버헤드를 줄이고 CPU 및 GPU와 같은 병렬 장치에서의 실행 효율을 향상시키기 위해.
• 실행 중 최적화를 통해 유연하고 고성능의 희소 계산 워크로드 실행을 지원하기 위해.

제안 방법

• 희소성과 관련된 리스트 생성 작업을 식별하기 위해 Taichi 프로그램의 전체 계산 그래프를 고수준에서 분석하기 위해.
• 실행 중에 실시간으로 전체 프로그램 최적화를 수행하기 위해.
• 다중 스레드 CPU 및 GPU에서 실행하기 위해 최적화된 커널을 즉시 컴파일하기 위해.
• 커널 간의 희소 그리드 반복 패턴을 분석하여 불필요한 리스트 생성을 제거하기 위해.
• 커널 실행 횟수를 최소화하고 데이터 국소성을 향상시키기 위해 실행 그래프를 동적으로 최적화하기 위해.

실험 결과

연구 질문

• RQ1 전체 프로그램 최적화를 통해 희소 Taichi 프로그램에서 불필요한 리스트 생성을 어떻게 줄일 수 있는가?
• RQ2 코드 수정 없이 여러 커널에 걸쳐 최적화를 수행할 경우 성능 향상은 어느 정도 달성될 수 있는가?
• RQ3 실행 중 최적화를 통해 희소성 및 미분 가능한 워크로드에서 커널 실행 오버헤드를 얼마나 줄일 수 있는가?
• RQ4 물리 시뮬레이션 및 미분 가능한 프로그래밍과 같은 다양한 워크로드에서 최적화 프레임워크의 효과는 어느 정도인가?

주요 결과

• 프레임워크는 벤치마크 워크로드에서 커널 실행 횟수를 3.07~3.90배 줄였다.
• 희소 그리드 물리 시뮬레이션 및 미분 가능한 프로그래밍 작업에서 1.73~2.76배의 성능 향상을 달성했다.
• 최적화는 기존 Taichi 프로그램에 대한 수정 없이도 투명하게 적용되었다.
• 시스템은 다중 스레드 CPU와 대규모 병렬 GPU 모두에서 효율적인 실행을 가능하게 했다.