[논문 리뷰] Automated Derivation of Parametric Data Movement Lower Bounds for Affine Programs

Auguste Olivry, Julien Langou외 3명|arXiv (Cornell University)|2019. 11. 15.

Parallel Computing and Optimization Techniques참고 문헌 34인용 수 31

한 줄 요약

이 논문은 아핀 프로그램의 계산적 의존성 그래프와 스케줄링 제약 조건을 분석하여 비점근적이고 매개변수화된 데이터 이동 하한을 완전히 자동으로 유도하는 IOLB라는 최초의 도구를 제시한다. 이는 이전의 수작업 또는 점근적만을 다루는 방법에 비해 정밀하고 확장 가능한 하한을 제공하며, 스케일링 상수를 포함한다. 이는 PolyBench 벤치마크 세트에서 몇몇 알고리즘에 대해 이전에 발표된 바보다 더 날카운 하한을 보여주었다.

ABSTRACT

For most relevant computation, the energy and time needed for data movement dominates that for performing arithmetic operations on all computing systems today. Hence it is of critical importance to understand the minimal total data movement achievable during the execution of an algorithm. The achieved total data movement for different schedules of an algorithm can vary widely depending on how efficiently the cache is used, e.g., untiled versus effectively tiled matrix-matrix multiplication. A significant current challenge is that no existing tool is able to meaningfully quantify the potential reduction to the data movement of a computation that can be achieved by more effective use of the cache through operation rescheduling. Asymptotic parametric expressions of data movement lower bounds have previously been manually derived for a limited number of algorithms, often without scaling constants. In this paper, we present the first compile-time approach for deriving non-asymptotic parametric expressions of data movement lower bounds for arbitrary affine computations. The approach has been implemented in a fully automatic tool (IOLB) that can generate these lower bounds for input affine programs. IOLB's use is demonstrated by exercising it on all the benchmarks of the PolyBench suite. The advantages of IOLB are many: (1) IOLB enables us to derive bounds for few dozens of algorithms for which these lower bounds have never been derived. This reflects an increase of productivity by automation. (2) Anyone is able to obtain these lower bounds through IOLB, no expertise is required. (3) For some of the most well-studied algorithms, the lower bounds obtained by \ ool are higher than any previously reported manually derived lower bounds.

연구 동기 및 목표

• 아핀 프로그램에서 스케줄링을 통해 달성 가능한 이론적 최소 데이터 이동을 정량화할 수 있는 자동화된 도구가 부족한 문제를 해결하기 위해.
• 스케일링 상수를 포함한 비점근적이고 매개변수화된 I/O 하한을 자동으로 도출함으로써 성능 분석의 격차를 메우기 위해.
• 복잡한 알고리즘에 대한 데이터 이동 하한을 수작업으로 유도하는 것에 대체할 수 있는 확장 가능한 도구 기반 접근법을 제공하기 위해.
• 연구자와 실무자가 주어진 구현이 운영 강도 측면에서 이론적 성능 한계에 얼마나 가까운지 평가할 수 있도록 하기 위해.
• 기존에 보고된 바보다 더 날카운 하한을 생성함으로써 성능 모델링의 정확도를 향상시키기 위해, 행렬 곱셈 및 스텐실 계산과 같은 잘 알려진 커널에 대해

제안 방법

• 이 방법은 아핀 프로그램의 계산적 의존성 그래프(CDAG)에 적용된 Brascamp-Lieb 부등식의 변종을 사용하여 데이터 이동을 모델링한다.
• 재사용 패턴과 데이터 액세스 패턴을 기반으로 CDAG를 하위 그래프로 분해함으로써 정밀한 하한 계산을 가능하게 한다.
• 웨이브프론트 기반 분석과 2S-분할을 사용하여 데이터 재사용을 모델링하고 메모리 계층 간의 중복된 데이터 이동을 최소화한다.
• 하한을 캐시 크기 $ S $ 와 프로그램 매개변수(루프 범위 및 배열 차원 포함)의 함수로 공식화한다.
• 차원별 루프 매개변수화와 간섭 모델링을 통합하여 Floyd-Warshall 및 adi 커널과 같은 복잡한 재사용 패턴을 처리한다.
• 알고리즘은 완전히 자동화되어 컴파일 시간에 실행되며, 증명 가능하게 타당한 하한을 생성하며 형식적으로 검증할 수 있다.

실험 결과

연구 질문

• RQ1 완전히 자동화된 도구가 스케일링 상수를 포함한 비점근적이고 매개변수화된 아핀 프로그램의 데이터 이동 하한을 유도할 수 있는가?
• RQ2 자동으로 도출된 하한은 정확도와 날카움 측면에서 수작업으로 도출된 하한과 비교해 볼 때 어떻게 다른가?
• RQ3 이 도구는 이전에 발표된 하한이 최적화되지 않거나 잘못되었을 경우를 식별할 수 있는가?
• RQ4 유도된 하한은 운영 강도 측면에서 주어진 알고리즘의 성능 상한을 어느 정도 예측할 수 있는가?
• RQ5 이 방법은 타일링 및 분할과 같은 복잡한 재사용 패턴과 루프 변환을 확장 가능하고 정밀하게 처리할 수 있는가?

주요 결과

• IOLB는 표준 컴퓨터에서 프로그램당 1초 이내로 30개의 PolyBench 벤치마크에 대해 비트리비얼한 매개변수화된 데이터 이동 하한을 자동으로 유도한다.
• 행렬 곱셈 및 스텐실과 같은 잘 연구된 몇몇 알고리즘에 대해 IOLB는 이전에 수작업으로 유도된 바보다 더 높은 하한을 생성한다.
• 11개의 경우에서 유도된 하한은 수작업 최적화된 통신 회피 스케줄의 데이터 이동과 정확히 일치하며, 하한의 날카움과 최적성은 확인된다.
• 이전 방법이 간섭과 분해 제약으로 인해 실패했던 floyd-warshall 및 adi 커널의 복잡한 재사용 패턴을 성공적으로 처리했다.
• IOLB의 하한은 스케일링 상수를 포함하여, 직접 루프라인 성능 모델링에 사용되어 코드가 메모리 대역폭에 제한되는지 평가할 수 있다.
• 차원 분해, 간섭 모델링, 웨이브프론트 기반 분석을 지원함으로써 이전의 자동화된 방법보다 뛰어난 성능을 보이며, 상당히 날카운 하한을 도출한다.