[論文レビュー] On the Representation of Partially Specified Implementations and its Application to the Optimization of Linear Algebra Kernels on GPU

Ulysse Beaugnon, Basile Clément+2 more|ArXiv.org|Apr 6, 2019

Parallel Computing and Optimization Techniques参考文献 33被引用数 4

ひとこと要約

本稿では、GPU上の線形代数カーネル最適化を、部分的に指定された実装として表現する制約プログラミングフレームワークを提案する。最適化意思決定（例：ループ融合、ベクタライゼーション、メモリタイリング）は、制約充足問題（CSP）における相互に依存する変数としてモデル化される。双方向の依存関係解決と分析的実行時間下限値を可能にすることで、複雑な最適化空間における効率的で順序に依存しない探索が可能となり、手動最適化されたGPUライブラリと同等の性能が達成される。

ABSTRACT

Traditional optimizing compilers rely on rewrite rules to iteratively apply program transformations. This iterative approach hides optimization opportunities behind intermediate transformation steps. For instance, vectorization can only be applied to the innermost loop in a nest: one must first perform a loop interchange before even considering vectorization of an outer loop. In contrast, we propose an implementation framework representing programs as sets of possible implementation decisions. Specifying one decision can have an impact on others in a bidirectional manner: specifying that a loop must be vectorized prevents other loops from being nested inside it; conversely, specifying a loop as an outer loop will prevent it from being vectorized. These optimization decisions commute, obviating the pass ordering problem. We present a constraint programming system to formally define, represent and explore such implementation spaces. We also propose an exploration strategy combining tree search and branch-and-bound; the strength and novelty of this strategy reside in an analytical model of the lower bound on the execution time of a set of possible implementations. We showcase our approach on the construction and exploration of an implementation space for linear algebra kernels running on GPUs. We show this search space is expressive enough to represent complex decisions that fundamentally change the structure of the generated code. We also present preliminary results competitive with the performance of native GPU libraries.

研究の動機と目的

• 従来のリライトルールベースコンパイラがパス順序問題と限られた先読み能力を抱える中で、GPUカーネル生成における複雑で相互に依存する最適化意思決定の課題に対処すること。
• ループ変換、データタイリング、並列性マッピングなどの最適化意思決定を、制約充足問題（CSP）における相互に依存する変数として体系的に探索可能にモデル化すること。
• 完全な実装仕様が与えられる前でさえ、実行時間の分析的下限値を用いて早期の性能推定と枝刈りを可能にする。
• GPU線形代数カーネルの文脈において、部分的に指定された実装を効率的に操作できるドメイン特化言語とコード生成パイプラインを開発すること。
• 本アプローチが、ストリップマイニング、ループ融合、ベクタライゼーションなどの構造を変更する複雑な最適化を表現・効果的に探索できることを示すこと。

提案手法

• 各意思決定（例：ベクタライゼーション、ループ入れ替え）を定義された定義域と制約を持つCSP内の変数として持つ、部分的にインスタンス化された意思決定ベクトルとしてプログラムを表現する。
• 意思決定同士の相互作用を双方向の制約としてモデル化する。例：あるループをベクタライズすると、そのループが他のループ内にネストできなくなる。また、あるループを外側ループにすると、ベクタライゼーションが不可能になる。
• 木探索と分枝限定法を組み合わせたハイブリッド探索戦略を採用し、分析的実行時間下限値モデルに従って、有望でない分枝を早期に刈り取る。
• インクリメンタル評価とヒューリスティック駆動探索をサポートする制約プログラミングシステムを用いて、最適化空間をエンコードする。
• 最適化選択とその相互作用の高水準な記述から、意思決定ベクトルの操作に適した低レベルコードを生成する。
• GPU線形代数カーネルに本フレームワークを適用し、メモリ階層管理、スレッドマッピング、ループ変換に関する意思決定をCSPの一部としてエンコードする。

実験結果

リサーチクエスチョン

• RQ1 部分的に指定された実装の制約ベース表現は、従来のリライトルールコンパイラに内在するパス順序問題を克服できるか？
• RQ2 完全なコード生成なしに、大規模で複雑な最適化空間における探索を分析的実行時間下限値がどの程度効果的に導けるか？
• RQ3 本フレームワークは、ループ融合、ストリップマイニング、マルチレベル並列性といった、構造を変更する複雑な最適化を表現し、効果的に探索できるか？
• RQ4 自動生成されたカーネルの性能は、手動最適化されたネイティブGPUライブラリと比較してどの程度か？
• RQ5 高影響度の意思決定を変換順序に依存せずに最初に選択できるように、柔軟でエキスパートガイドドの探索をサポートできるか？

主な発見

• 提案されたフレームワークは、GPUカーネル生成における複雑で相互に依存する最適化意思決定をCSPとして効果的にモデル化し、パス順序に依存しない探索を可能にし、反復的変換パイプラインの落とし穴を回避した。
• 部分空間からの分析的実行時間下限値を用いることで、完全な実装仕様が与えられる前から探索空間の効果的な刈り取りが可能となり、探索の効率が向上した。
• 本アプローチは、ループ融合、ストリップマイニング、ベクタライゼーション、マルチレベル並列性といった、GPUの高性能を発揮するために不可欠なコード構造の変更を表現可能である。
• 予備的な結果から、自動生成された線形代数カーネルが、手動最適化されたネイティブGPUライブラリと同等またはそれ以上の性能を達成していることが示された。
• 本フレームワークは、完全な実装が得られる前でさえ、正確な利益度推定を早期に可能にし、部分的実装に基づいてグローバルヒューリスティクスが探索を誘導できる。これは、従来のILPやSATベースのソルバでは実現不可能である。
• ドメイン特化言語とコード生成パイプラインにより、多様な最適化意思決定に対する迅速なプロトタイピングと実験が可能となり、スケーラビリティと表現力が実証された。