[논문 리뷰] Parallelepipeds obtaining HBL lower bounds

James Demmel, Alex Rusciano|arXiv (Cornell University)|2016. 11. 18.

Complexity and Algorithms in Graphs참고 문헌 4인용 수 8

한 줄 요약

이 논문은 이산 호일더-브라스앰프-라이블(Hölder-Brascamp-Lieb, HBL) 부등식을 사용하여 중첩 루프에서 통신 최적화 타일 전략을 설계하기 위한 구조적 알고리즘 프레임워크를 제안한다. HBL 부등식의 이중 선형계획문제를 풀고 스미스 정규형 분해를 활용함으로써, 선형 대수학 커널의 메모리 액세스 패턴에 대해 점근적이고 정확한 통신 하한선을 달성하는 평행육면체형 타일을 구성한다.

ABSTRACT

This work studies the application of the discrete Holder-Brascamp-Lieb (HBL) inequalities to the design of communication optimal algorithms. In particular, it describes optimal tiling (blocking) strategies for nested loops that lack data dependencies and exhibit linear memory access patterns. We attain known lower bounds for communication costs by unraveling the relationship between the HBL linear program, its dual, and tile selection. The methods used are constructive and algorithmic. The case when all arrays have one index is explored in depth, as a useful example in which a particularly efficient tiling can be determined.

연구 동기 및 목표

• 중첩 루프에서 선형 메모리 액세스 패턴을 가진 통신 최적 타일 전략을 설계하기 위해.
• 이산 HBL 부등식, 그 이중 선형계획문제, 최적 타일 선택 간의 구조적 연결을 수립하기 위해.
• 기하학적 타일 구성 방식을 통해 통신 비용 하한선에 대해 점근적이고 정확한 최적성을 달성하기 위해.
• 스미스 정규형과 부분군 분해를 사용하여 최적 타일을 계산하는 알고리즘적 방법을 제공하기 위해.
• 평행육면체 타일이 통신 회피 알고리즘에 대해 알려진 HBL 하한선에 도달할 수 있음을 보여주기 위해.

제안 방법

• 가능한 가중치 벡터 $ s $ 위에서 HBL 부등식을 원형 선형계획문제로 공식화하며, 이중 문제로부터 통신 볼륨의 하한선을 도출한다.
• HBL LP의 이중 문제를 활용해 최적의 메모리 할당 비율 $ c_i $ 를 식별하고, 라그랑주 승수를 사용하여 $ \prod c_i^{s_i} $ 의 곱을 최소화한다.
• 정수 행렬로 표현된 선형 사상 $ \phi_i $ 의 스미스 정규형을 적용하여, 균근 내에서 최단 정수 기저 벡터를 계산할 수 있도록 한다.
• 균근 부분군에서 유도된 기저 벡터로 생성된 정수 평행육면체로서 최적 타일을 구성하며, 메모리 파rameter $ M $ 으로 스케일링한다.
• 알고리즘 1을 사용하여 부분군의 독립 원소들로부터 타일을 생성함으로써, $ \mathbb{Z}^d $ 의 타일링과 메모리 제약 조건을 모두 충족시킨다.
• 스케일링 인자 $ \gamma = \frac{1}{(s_{\text{HBL}})^{s_{\text{HBL}}}} \min_{s \in \mathcal{P}, 1^T s = s_{\text{HBL}}} \prod s_i^{s_i} $ 의 최소화를 통해 정확한 최적성을 도출하며, 이는 $ |S(M)| = (1-o(1)) \gamma M^{s_{\text{HBL}}} $ 를 보장한다.

실험 결과

연구 질문

• RQ1 HBL 부등식을 사용하여 통신 회피 알고리즘에서 최적 타일링을 위한 구조적이고 알고리즘적인 방법을 도출할 수 있는가?
• RQ2 HBL 선형계획문제의 이중 문제를 어떻게 활용하여 데이터 배열 간 최적의 메모리 할당 비율을 도출할 수 있는가?
• RQ3 어떤 기하학적 구조(예: 평행육면체)가 점근적이고 정확한 통신 하한선을 달성하는 데 기여하는가?
• RQ4 스미스 정규형과 부분군 분해는 정수 격자에서 최적 타일을 구성하는 데 어떻게 기여하는가?
• RQ5 타일 크기가 $ |S(M)| = \Theta(M^{s_{\text{HBL}}}) $ 를 만족하고 메모리 제약 조건 $ |\phi_i(S(M))| = O(M) $ 를 충족하는 조건은 무엇인가?

주요 결과

• 질량 1 사상에 대해, 논문은 $ \phi_i $ 의 균근 내 최단 정수 벡터로 생성된 평행육면체 형태의 최적 타일을 구성하며, 이는 $ |S(M)| = \Theta(M^{s_{\text{HBL}}}) $ 를 달성한다.
• 가중치 $ s_i = 1/(k-1) $ 이고 $ k $ 개의 독립된 질량 1 균근을 가질 경우, $ s_{\text{HBL}} = k/(k-1) $ 이며 $ \gamma = (1/k)^{k/(k-1)} $ 이므로 정확한 최적성이 달성된다.
• 타일 크기는 $ |S(M)| = (1-o(1)) \cdot \gamma M^{s_{\text{HBL}}} $ 를 만족하며, 점근적이고 정확한 최적성을 확인한다.
• 질량 1 사상에 대해 타일 구성은 $ \sum_i |\phi_i(S(M))| \leq M $ 를 보장하여 메모리 제약 조건을 충족시킨다.
• 알고리즘 파ip라인—스미스 정규형, 균근 기저 추출, 타일 생성—은 행렬 곱셈 및 유사 커널에 대해 통신 회피 하한선을 달성한다.
• 이 프레임워크는 질량 1 및 질량 $ (d-1) $ 사상으로 일반화되며, 후자의 경우 독립된 균근에 대해 정확한 최적성이 증명된다.