[논문 리뷰] Automated Parallel Kernel Extraction from Dynamic Application Traces

Richard Uhrie, Chaitali Chakrabarti외 1명|arXiv (Cornell University)|2020. 01. 27.

Parallel Computing and Optimization Techniques참고 문헌 30인용 수 5

한 줄 요약

이 논문은 동적 응용 프로그램 트레이스에서 병렬 커널을 자동으로 추출하는 오픈소스 도구인 TraceAtlas를 제시한다. 이 도구는 대수적 공간, 선형 시간 알고리즘을 사용하여, 코드에 주석이 없고 LLVM 호환 코드에서도 효율적으로 커널 탐지를 가능하게 하며, 시간 지연은 9배, 트레이스 크기는 1 MB/sec 수준으로 유지한다. 이로 인해 16개 라이브러리에서 고정밀도로 10,500개 이상의 커널 인스턴스를 성공적으로 식별하였으며, 이는 이질적 가속기용 최적화를 위한 후속 처리를 가능하게 한다.

ABSTRACT

Modern program runtime is dominated by segments of repeating code called kernels. Kernels are accelerated by increasing memory locality, increasing data-parallelism, and exploiting producer-consumer parallelism among kernels - which requires hardware specialized for a particular class of kernels. Programming this hardware can be difficult, requiring that the kernels be identified and annotated in the code or translated to a domain-specific language. This paper describes a technique to automatically localize parallel kernels from a dynamic application trace, facilitating further code optimization. Dynamic trace collection is fast and compact. With optimization, it only incurs a time-dilation of a factor on nine and file-size of one megabyte per second, addressing a significant criticism of this approach. Kernel extraction is accurate and performed in linear time within logarithmic memory, detecting a wide range of kernels. This approach was validated across 16 libraries, comprised of 10,507 kernels instances. To validate the accuracy of our detected kernels, five test programs were written that spans traditional kernel definitions and were certified to contain all the kernels that were expected.

연구 동기 및 목표

• 생산 수준의 코드에서 주석이 없는 병렬 커널을 식별하여 전용 가속기와 매핑하는 데 도전 과제를 해결하기 위해.
• 동적 트레이싱의 성능 오버헤드와 스토리지 비용을 줄여 대규모 응용 프로그램 분석에 실용적인 방법을 제공하기 위해.
• 코드 주석, 컴파일러 지시어, 도메인 특화 언어 변환 없이도 확장성 있고 정확한 커널 추출 방법을 개발하기 위해.
• 정적 분석이 아닌 런타임 실행 패턴에 기반해 커널 간의 프로듀서-컨슈머 관계를 자동으로 탐지하기 위해.
• 실세계 응용 프로그램에서 루프, 재귀, 라이브러리 호출 등 다양한 커널 유형을 포함한 커널 패턴에 대해 접근법을 검증하기 위해.

제안 방법

• 런타임에 경량이고 압축된 LLVM 인트린직을 LLVM IR에 삽입하여 성능 오버헤드를 최소화한 동적 응용 프로그램 트레이싱을 생성하기 위해.
• 실행 친화도를 기반으로 시간적으로 군집화된 기본 블록을 후보 커널로 탐지하기 위해 대수적 공간, 선형 시간 알고리즘을 사용하기 위해.
• 커널 경계가 의미적으로 올바르고 실행 흐름과 일관성을 유지하도록 보장하기 위해 합법화 단계를 적용하기 위해.
• 탐지된 커널 내부의 메모리 액세스 패턴을 분석하여 커널 인스턴스 간의 프로듀서-컨슈머 관계를 추론하기 위해.
• 트레이싱 가능성을 유지하면서 크기를 줄이기 위해 UTF-8 인코딩 키-값 트레이스 포맷과 고유 압축 기법을 사용하기 위해.
• OFDM 시스템에서 수작업으로 작성된 테스트 프로그램과 전문가가 검증한 커널을 사용하여 커널 탐지 정확도를 검증하기 위해.

실험 결과

연구 질문

• RQ1 생산 규모의 응용 프로그램에 대해 최소한의 성능 오버헤드(시간 지연)와 저장 비용(트레이스 크기)로 동적 트레이싱을 생성할 수 있는가?
• RQ2 정적 분석 없이도 동적 트레이싱 분석만으로 주석이 없는 비정형 코드에서 병렬 커널을 정확하게 추출할 수 있는가?
• RQ3 제안된 대수적 공간, 선형 시간 커널 탐지 알고리즘이 테라바이트 크기의 트레이스를 포함한 대규모 워크로드에 확장 가능한가?
• RQ4 정적 분석이나 코드 주석 없이도 추출된 커널을 기반으로 신뢰성 있게 프로듀서-컨슈머 관계를 추론할 수 있는가?
• RQ5 루프, 재귀, 라이브러리 호출 등 다양한 커널 패턴에 대해 커널 탐지 방법이 얼마나 일반화되는가?

주요 결과

• TraceAtlas는 시간 지연 9배, 1초당 1 MB의 트레이스 데이터로, 실세계 응용 프로그램에 대한 동적 트레이싱을 실용적으로 가능하게 한다.
• 커널 추출 알고리즘이 선형 시간과 대수적 공간에서 작동하여, 테라바이트 규모에 가까운 대용량 트레이스의 효율적 처리를 가능하게 한다.
• 도구는 16개의 실세계 라이브러리에서 392개의 응용 프로그램에서 10,507개의 커널 인스턴스를 성공적으로 탐지하였으며, 검증 테스트에서 100% 정확도를 기록하였다.
• 루프, 재귀, 인터페이스 라이브러리 등 복잡한 패턴을 포함한 다섯 개의 수작업 테스트 프로그램에서 예상되는 모든 커널을 정확히 식별하였다.
• Asanovic 등이 정의한 13개 커널 아키토타입 중 12개를 탐지하였으며, 유한 상태 기계는 단일 단위로 탐지되지 않았다.
• 상위 기술 대비 230배 빠른 속도와 49배 높은 트레이싱 생성 효율성을 확보하였다.