[論文レビュー] Parallelepipeds obtaining HBL lower bounds

James Demmel, Alex Rusciano|arXiv (Cornell University)|Nov 18, 2016

Complexity and Algorithms in Graphs参考文献 4被引用数 8

ひとこと要約

本稿では、離散 Hölder-Brascamp-Lieb (HBL) 不等式を用いて、ネストされたループにおける通信最適なタイリング戦略を設計するための構成的アルゴリズムフレームワークを提示する。HBL 不等式の双対となる線形計画問題を解き、Smith 正規形分解を活用することで、線形代数カーネルにおけるメモリアクセスパターンに対して、漸近的かつ正確な通信下限を達成する平行六面体型のタイルを構築する。

ABSTRACT

This work studies the application of the discrete Holder-Brascamp-Lieb (HBL) inequalities to the design of communication optimal algorithms. In particular, it describes optimal tiling (blocking) strategies for nested loops that lack data dependencies and exhibit linear memory access patterns. We attain known lower bounds for communication costs by unraveling the relationship between the HBL linear program, its dual, and tile selection. The methods used are constructive and algorithmic. The case when all arrays have one index is explored in depth, as a useful example in which a particularly efficient tiling can be determined.

研究の動機と目的

• 線形メモリアクセスパターンを有するネストされたループに対する通信最適なタイリング戦略を設計すること。
• 離散的 HBL 不等式、その双対線形計画問題、最適タイル選択との間の構成的リンクを確立すること。
• 幾何的タイル構築を通じて、通信コストの下限に対する漸近的および正確な最適性を達成すること。
• Smith 正規形および部分群分解を用いたアルゴリズム的手法により、最適タイルの計算を提供すること。
• 平行六面体タイルが、通信回避アルゴリズムにおける既知の HBL 下限に達成可能であることを示すこと。

提案手法

• HBL 不等式を、可能な重みベクトル $ s $ における原始的線形計画問題として定式化し、双対問題が通信量の上限を与える。
• HBL LP の双対問題を用いて、最適なメモリ割り当て比 $ c_i $ を特定し、ラグランジュ乗数を用いて積 $ \prod c_i^{s_i} $ を最小化する。
• 整数行列で表される線形写像 $ \phi_i $ の核における最短整数基底ベクトルの計算を可能とするために、Smith 正規形を適用する。
• 核部分群から導かれる基底ベクトルによって張られる整数平行六面体として最適タイルを構築し、メモリパラメータ $ M $ でスケーリングする。
• アルゴリズム 1 を用いて、部分群の独立な要素からタイルを生成し、$ \mathbb{Z}^d $ のタイリングおよびメモリ制約を満たす。
• スケーリング係数 $ \gamma = \frac{1}{(s_{\text{HBL}})^{s_{\text{HBL}}}} \min_{s \in \mathcal{P}, 1^T s = s_{\text{HBL}}} \prod s_i^{s_i} $ の最小化により正確な最適性を導出する。これにより $ |S(M)| = (1-o(1)) \gamma M^{s_{\text{HBL}}} $ が保証される。

実験結果

リサーチクエスチョン

• RQ1 HBL 不等式は、通信回避アルゴリズムにおける最適タイリングのための構成的・アルゴリズム的手法を導出可能か？
• RQ2 HBL 線形計画問題の双対問題は、データ配列間の最適メモリ割り当てをどのように特定できるか？
• RQ3 どのような幾何的構造（例：平行六面体）が、漸近的および正確な通信下限を達成可能にするか？
• RQ4 Smith 正規形および部分群分解は、整数格子における最適タイルの構築をどのように支援するか？
• RQ5 タイルサイズが $ |S(M)| = \Theta(M^{s_{\text{HBL}}}) $ を満たし、メモリ制約 $ |\phi_i(S(M))| = O(M) $ を満たす条件は何か？

主な発見

• ランク 1 の写像に対して、本稿は $ \phi_i $ の核における最短整数ベクトルによって張られる平行六面体として最適タイルを構築し、$ |S(M)| = \Theta(M^{s_{\text{HBL}}}) $ を達成する。
• 重み $ s_i = 1/(k-1) $ で $ k $ 個の独立したランク 1 の核を持つ場合、$ s_{\text{HBL}} = k/(k-1) $ であり、$ \gamma = (1/k)^{k/(k-1)} $ となる。このとき、本手法は正確な最適性を達成する。
• タイルサイズは $ |S(M)| = (1-o(1)) \cdot \gamma M^{s_{\text{HBL}}} $ を満たし、漸近的および正確な最適性が確認される。
• ランク 1 の写像に対して、タイル構築は $ \sum_i |\phi_i(S(M))| \leq M $ を満たし、メモリ制約を満たす。
• アルゴリズムパイプライン（Smith 正規形、核基底抽出、タイル生成）により、行列乗算および類似するカーネルに対して通信回避の下限が達成される。
• 本フレームワークはランク 1 およびランク $ (d-1) $ の写像へ一般化可能であり、後者の場合、独立した核において正確な最適性が証明されている。