[論文レビュー] TTC: A high-performance Compiler for Tensor Transpositions

Paul Springer, Jeff R. Hammond+1 more|RWTH Publications (RWTH Aachen)|Mar 7, 2016

Parallel Computing and Optimization Techniques参考文献 18被引用数 6

ひとこと要約

TTCは、ブロッキング、ループ再順序付け、ソフトウェアプリファッチング、明示的ベクトル化などの最適化を用いて、多次元テンソル転置の高パフォーマンスC++コードを生成するドメイン固有コンパイラである。Intel HaswellおよびAMD Steamrollerアーキテクチャでピークメモリ帯域幅に近い性能を達成し、現代のコンパイラを上回り、最小限のパフォーマンス損失で探索空間を削減するための pruning ヒューリスティクスを用いる。100個の候補での探索で、全探索性能の99%を達成している。

ABSTRACT

We present TTC, an open-source parallel compiler for multidimensional tensor transpositions. In order to generate high-performance C++ code, TTC explores a number of optimizations, including software prefetching, blocking, loop-reordering, and explicit vectorization. To evaluate the performance of multidimensional transpositions across a range of possible use-cases, we also release a benchmark covering arbitrary transpositions of up to six dimensions. Performance results show that the routines generated by TTC achieve close to peak memory bandwidth on both the Intel Haswell and the AMD Steamroller architectures, and yield significant performance gains over modern compilers. By implementing a set of pruning heuristics, TTC allows users to limit the number of potential solutions; this option is especially useful when dealing with high-dimensional tensors, as the search space might become prohibitively large. Experiments indicate that when only 100 potential solutions are considered, the resulting performance is about 99% of that achieved with exhaustive search.

研究の動機と目的

• HPCワークロードにおける多次元テンソル転置のための高パフォーマンスでポータブルなソフトウェアの不足に対処すること。
• 現代のアーキテクチャ上でピークメモリ帯域幅に近い性能を達成する最適化されたC++コードを生成すること。
• 組み合わせ的爆発を効果的な pruning ヒューリスティクスによって抑えること。
• 科学計算および機械学習における効率的で再利用可能かつポータブルなテンソル演算を可能にすること。
• 将来的に広範なテンソル結合コンパイラパイプラインに統合できるようにすること。

提案手法

• TTCは、明示的なループ変換を用いたドメイン固有のアプローチにより、テンソル転置をC++コードにコンパイルする。
• 複数の次元にわたるデータローカリティとメモリアクセスパターンの改善のため、ループ再順序付けを適用する。
• ブロッキングを用いて、テンソルを管理可能なサブブロックに分割し、キャッシュ利用効率を最適化する。
• パフォーマンスモデルを介して動的に調整されるソフトウェアプリファッチングにより、メモリ遅延を隠す。
• AVX命令を用いた明示的ベクトル化により、SIMDスループットを最大化する。
• ヒューリスティクスに基づいて高品質な候補を優先することで、探索空間を制限するプルーニング戦略を採用し、コンパイル時間を短縮しながらパフォーマンス損失を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 ドメイン固有コンパイラは、現代のCPU上でピークメモリ帯域幅に近い性能を達成するテンソル転置コードを生成できるか？
• RQ2 パフォーマンスを損なわせることなく、高次元テンソル転置のための探索空間を効果的に削減できるか？
• RQ3 ブロッキング、ループ再順序付け、プリファッチング、ベクトル化の各要因がパフォーマンスに与える個別の影響は何か？
• RQ4 TTCのパフォーマンスは、多様なテンソル次元とデータレイアウトにおいて、現代の最適化コンパイラと比較してどの程度優れているか？
• RQ5 探索空間を削減するための実用的妥当な妥協策として、固定されたプリファッチ距離をどの程度活用できるか？

主な発見

• TTCが生成するコードは、Intel HaswellおよびAMD Steamrollerアーキテクチャの両方で、ピークメモリ帯域幅に非常に近い性能を達成している。
• 100個の候補での探索で、ベンチマーク全体で全探索性能の99.10%を達成している。
• 固定されたプリファッチ距離5〜8は、平均99%以上の効率性と最小98%の効率性を達成しており、実用的で頑健な選択肢である。
• 1つの候補のみでも、全探索性能の94.58%を達成しており、ヒューリスティクスの質の高さが示されている。
• ブロッキング、ループ再順序付け、プリファッチング、ベクトル化の組み合わせが、現代のコンパイラと比較してパフォーマンス向上の大部分を占めている。
• コンパイラの設計は、将来の拡張性を備えており、AVX512、ARM、Power、GPUなどの新しい命令セットへの対応が可能である。