[論文レビュー] PENCIL: Towards a Platform-Neutral Compute Intermediate Language for DSLs

Mohamed Riyadh Baghdadi, Albert Cohen+10 more|arXiv (Cornell University)|Feb 22, 2013

Parallel Computing and Optimization Techniques参考文献 8被引用数 10

ひとこと要約

PENCILは、ドメイン特化言語（DSL）の共通コンパイルターゲットとして機能する、プラットフォームに依存しない中間言語である。PENCILは生産的で高パフォーマンスかつポータブルなアクセラレータプログラミングを可能にする。高レベルの抽象化、明示的な最適化ディレクティブ（並列化やデータレイアウトのためのものなど）、およびポリヘドラル最適化フレームワークとの統合により、GPU やマルチスレッドSIMDユニットなどの異種アーキテクチャ向けに効率的な低レベルコードを生成する。

ABSTRACT

We motivate the design and implementation of a platform-neutral compute intermediate language (PENCIL) for productive and performance-portable accelerator programming.

研究の動機と目的

• アクセラレータプログラミングにおけるパフォーマンスのポータビリティ不足を解消するため、DSL向けに統一された中間言語を提供すること。
• プラットフォーム固有のコード生成を抽象化することで、DSLコンパイラの開発および保守コストを低減すること。
• タイリング、ベクタライゼーション、メモリレイアウトといった複雑なアクセラレータのパターンを、構造化された構文とプラグマを通じて高レベルDSLが表現できるようにすること。
• ステンシル計算やスパース行列演算などの共通する計算モチーフをモデル化することで、規則的かつ不規則なアルゴリズムの両方をサポートすること。
• 複数のカーネルにまたがる依存関係とメモリアクセスメタデータを公開することで、複数のコンponentにわたる最適化を可能にすること。

提案手法

• C言語に類似した構文とC99/GNU拡張を備えた、高レベルでプラットフォームに依存しない中間言語PENCILを設計し、なじみやすくコンパイルしやすいようにすること。
• 依存関係とメモリアクセス情報を自動的に推論することが難しいため、プラグマやディレクティブ（例：#pragma pencil reduction、#pragma independent）を導入して、これらの情報を明示的に公開すること。
• ポリヘドラルフレームワークを活用して静的解析と変換を実施し、ループネストの並列化とデータ局所性の自動最適化を可能にすること。
• DSLから生成されたコードと手書きのPENCILコードを統一されたコンパイルパイプラインで扱い、リンクと共同最適化を可能にすること。
• スパース行列・ベクトル積などの不規則なアルゴリズムを、メタデータと明示的なアノテーションを用いてモデル化することで、多様なアーキテクチャでもパフォーマンスを維持できること。
• プラグマを用いた数値精度の制御を可能にし、浮動小数点演算において、性能最適化とビット単位の再現性の間のトレードオフを許容できるようにすること。

実験結果

リサーチクエスチョン

• RQ1 プラットフォームに依存しない中間言語は、アクセラレータ向けDSLの開発および保守の複雑さとコストをどのように低減できるか？
• RQ2 タイリング、ベクタライゼーション、メモリレイアウトといった共通するアクセラレータプログラミングのパターンを表現するための、必要な言語構文とメタデータメカニズムは何か？ また、パフォーマンスのポータビリティを保ちながら表現可能か？
• RQ3 PENCILは、一貫性があり拡張可能な構文を用いて、規則的なアルゴリズム（例：ステンシル計算）と不規則なアルゴリズム（例：密行列線形代数対比スパース行列演算）をどれほど統一的に表現できるか？
• RQ4 依存関係とメモリアクセス情報をどのようにプラグマを通じて公開することで、複数の計算カーネルにわたる効果的なクロスカーネル最適化を実現できるか？
• RQ5 PENCILは、高レベルDSLと手で最適化されたライブラリコードの両方のコンパイルターゲットとして実用的であり、一連のパイプラインでエンドツーエンドの最適化を可能にするか？

主な発見

• PENCILは、豊富な意味論を持つ高レベルの抽象化をDSLが表現可能にし、コンパイラが自動並列化やループ変換といった高度な最適化を実行できるようにする。
• 「#pragma pencil reduction」と「#pragma independent」などのプラグマの使用により、リダクションと独立性のセマンティクスに対する正確な制御が可能となり、並列実行のためのコード生成が向上する。
• PENCILは、OP2（例：ポインタフリーのアクセス、アクセスヒント） や OptiML（例：和、ベクタ構築、untilconverged）といった既存のDSLの重要な特徴を効果的に捉えており、その表現力の高さを示している。
• PENCILは、ステンシル計算などの規則的なアルゴリズムと、スパース行列・ベクトル積などの不規則なアルゴリズムの両方をサポートしており、明示的なメタデータにより効率的なコード生成が可能である。
• コンponent間最適化は実現可能である：複数のカーネルからの依存関係情報を統合的に解析・変換することで、データ局所性と並列性の向上が可能である。
• PENCILはプラグマを介して数値精度のトレードオフをサポートしており、許容可能な範囲であれば、ビット単位の再現性を犠牲にしたパフォーマンス最適化された浮動小数点実行を開発者が選択できる。