[論文レビュー] GARDENIA: A Domain-specific Benchmark Suite for Next-generation Accelerators

Xu Zhen, Xuhao Chen+4 more|arXiv (Cornell University)|Aug 15, 2017

Parallel Computing and Optimization Techniques被引用数 4

ひとこと要約

GARDENIA は、次世代アクセラレータ向けのドメイン特化型ベンチマークスイートであり、ビッグデータおよび機械学習分野における不規則グラフアナリティクスワークロードを対象としている。GPUおよびMICにおける最新の最適化技術を統合し、単純実装と比較して最大3.8倍の性能向上を示しており、構造的ワークロードとは顕著なマイクロアーキテクチャ的差異を示しており、専用アクセラレータ設計の必要性を浮き彫りにしている。

ABSTRACT

This paper presents the Graph Analytics Repository for Designing Next-generation Accelerators (GARDENIA), a benchmark suite for studying irregular algorithms on massively parallel accelerators. Existing generic benchmarks for accelerators have mainly focused on high performance computing (HPC) applications with limited control and data irregularity, while available graph analytics benchmarks do not apply state-of-the-art algorithms and/or optimization techniques. GARDENIA includes emerging irregular applications in big-data and machine learning domains which mimic massively multithreaded commercial programs running on modern large-scale datacenters. Our characterization shows that GARDENIA exhibits irregular microarchitectural behavior which is quite different from structured workloads and straightforward-implemented graph benchmarks.

研究の動機と目的

• リアルな不規則ベンチマークワークロードの不足を解消し、実世界のデータセンタ環境における次世代アクセラレータの評価を可能にする。
• 古くなったアルゴリズムを使用するか、高度な最適化を欠く既存の汎用的およびグラフ特化型ベンチマークの限界を克服する。
• 一般用途およびドメイン特化型アクセラレータ研究の両者に適した代表的で多様かつ最適化済みのベンチマークスイートを提供する。
• 不規則ワークロードの正確なマイクロアーキテクチャ的特徴を特定し、エネルギー効率の高いアクセラレータ設計を支援する。
• ハードウェア、アルゴリズム、ライブラリ、コンパイラ設計者に対して、パフォーマンス比較および最適化のためのリファレンス実装を提供する。

提案手法

• ビッグデータ、機械学習、スパース線形代数分野の8つの代表的ワークロードを含むベンチマークスイートを設計する。
• サイズ、密度、トポロジーに基づいて実世界のグラフデータセットを選定し、現代のデータセンタワークロードを反映させる。
• マス・パラレルアクセラレータ（GPUおよびMIC）向けに最新の最適化技術を用いて、すべてのワークロードを実装する。
• 最適化済みのGARDENIA実装と単純なCUDAバージョンを比較し、最適化の影響を定量的に評価する。
• SIMT利用率やIPCといったメトリクスを用いて、多様なワークロードおよびデータセットにおけるマイクロアーキテクチャ的挙動を特徴付ける。
• GPUおよびMICプラットフォームの両方でパフォーマンスを評価し、アクセラレータカバレッジおよびプラットフォーム固有の挙動を分析する。

実験結果

リサーチクエスチョン

• RQ1 最新の最適化技術は、アクセラレータ上でのグラフアナリティクスワークロードのマイクロアーキテクチャ的挙動およびパフォーマンスにどのように影響を与えるか？
• RQ2 入力グラフの特性（サイズ、密度、トポロジー）は、不規則ワークロードにおけるパフォーマンスおよびマイクロアーキテクチャ的挙動にどの程度影響を与えるか？
• RQ3 GPUとMICアクセラレータにおける不規則ワークロードのパフォーマンスおよびマイクロアーキテクチャ的特性は、どのように異なるか？
• RQ4 なぜ既存のベンチマークスイートは、実世界の不規則アプリケーションを対象とする次世代アクセラレータの評価に不十分なのか？
• RQ5 将来のアクセラレータが解決すべき、不規則ワークロードにおける主なパフォーマンスボトルネックは何か？

主な発見

• GARDENIAワークロードに最新の最適化技術を適用することで、単純なCUDA実装と比較して最大3.8倍のパフォーマンス向上が達成された。
• 最適化によりSIMT利用率およびIPCが顕著に向上し、マイクロアーキテクチャ的挙動に顕著な変化が生じていることが示された。
• パフォーマンスは異なるデータセット間で著しく変動する：例えば、BFS、SSSP、BCは一部のグラフでIPCが0.1未満にとどまる一方、CC、PR、TC、SpMVは1.5を超えるIPCを記録した。
• CPUシリアル実装との比較ではスピードアップが著しく変動する—BFS、SSSP、BCは特定のデータセットで1.0未満のスピードアップを示し、単純実装の非効率性を示している。
• MICとGPUでは異なるパフォーマンストレンドを示す—MICはsoc-twitterでBFSで最大16.0倍のスピードアップを達成したが、road_centralでは僅か1.2倍にとどまり、プラットフォーム固有の感受性が顕著に現れた。
• GARDENIAベンチマークのマイクロアーキテクチャ的挙動は、構造的ワークロードや単純なグラフベンチマークとは根本的に異なり、専用かつ最適化済みのベンチマークスイートの必要性を裏付けている。