[論文レビュー] A Graph Deep Learning Framework for High-Level Synthesis Design Space Exploration

Lorenzo Ferretti, Andrea Cini+3 more|arXiv (Cornell University)|Nov 29, 2021

Machine Learning in Materials Science被引用数 5

ひとこと要約

本稿では、C/C++の動作記述をハイブリッド制御およびデータフロー・グラフとしてモデル化することにより、High-Level Synthesis (HLS) の設計空間探索 (DSE) において、実行性能とハードウェアコストを予測するグラフニューラルネットワークフレームワーク gnn4hls を提案する。これにより、高速かつ高精度にパラメータ最適化を実現でき、従来のDSE手法を上回り、シミュレータ水準の精度を1000倍高速に達成する。さらに、ファインチューニングにより未学習のアプリケーションへも強力な汎化性能を示す。

ABSTRACT

The design of efficient hardware accelerators for high-throughput data-processing applications, e.g., deep neural networks, is a challenging task in computer architecture design. In this regard, High-Level Synthesis (HLS) emerges as a solution for fast prototyping application-specific hardware starting from a behavioural description of the application computational flow. This Design-Space Exploration (DSE) aims at identifying Pareto optimal synthesis configurations whose exhaustive search is often unfeasible due to the design-space dimensionality and the prohibitive computational cost of the synthesis process. Within this framework, we effectively and efficiently address the design problem by proposing, for the first time in the literature, graph neural networks that jointly predict acceleration performance and hardware costs of a synthesized behavioral specification given optimization directives. The learned model can be used to rapidly approach the Pareto curve by guiding the DSE, taking into account performance and cost estimates. The proposed method outperforms traditional HLS-driven DSE approaches, by accounting for arbitrary length of computer programs and the invariant properties of the input. We propose a novel hybrid control and data flow graph representation that enables training the graph neural network on specifications of different hardware accelerators; the methodology naturally transfers to unseen data-processing applications too. Moreover, we show that our approach achieves prediction accuracy comparable with that of commonly used simulators without having access to analytical models of the HLS compiler and the target FPGA, while being orders of magnitude faster. Finally, the learned representation can be exploited for DSE in unexplored configuration spaces by fine-tuning on a small number of samples from the new target domain.

研究の動機と目的

• ハードウェアアクセラレータ向けに高次元的かつ計算コストの高いHLS設計空間探索 (DSE) の課題に対処すること。
• 高価なシミュレーションに代わって、学習された性能およびコスト予測により、総当たりの合成実行に依存するのを減らすこと。
• 最小限の再トレーニングでファインチューニングを用いて、新しい未学習のアプリケーションへもトランスファーラーニングを可能にすること。
• 任意長のプログラムをサポートし、プログラムの不変性を保持する、一般化可能でアーキテクチャに依存しないフレームワークを開発すること。
• 機械学習とEDAの溝を埋め、人間の関与なしにデータ駆動型で自動化されたDSEを可能にすること。

提案手法

• 構造的および意味的プログラム特性を捉えるために、C/C++の動作記述をハイブリッド制御およびデータフロー・グラフとして表現する。
• グラフ表現から、パフォーマンス（例：レイテンシ）およびハードウェアコスト（例：LUT、BRAM）を同時に予測する、新しいグラフニューラルネットワーク（GNN）アーキテクチャを設計する。
• 複数のアプリケーションにわたる多様なHLS設定でGNNをトレーニングし、最適化行動の転送可能な表現を学習する。
• プログラムの不変性を保持し、異なるプログラム構造および長さにわたる一般化を可能にするハイブリッドグラフ表現を採用する。
• 少数の新しいアプリケーションサンプルでのファインチューニングによりドメイン適応を実現し、最小限のデータで高い性能を達成する。
• GNNのインダクティブバイアスを活用して、学習データを超える一般化を実現し、新しいワークロードに対してゼロショットまたはフェイシュットDSEを可能にする。

実験結果

リサーチクエスチョン

• RQ1 解析的コンパイラー・モデルやFPGAターゲット仕様にアクセスせずに、グラフニューラルネットワークがHLS DSEにおいてパフォーマンスとハードウェアコストの両方を効果的に予測できるか。
• RQ2 提案されたGNNフレームワークは、既存のトランスファーラーニングやモデルベースDSE手法と比較して、未学習のアプリケーションおよび設計空間にどの程度一般化できるか。
• RQ3 GNNが高価な合成実行を代替することで、フルシミュレーションと同等の精度を維持しながら、どの程度の性能向上が達成できるか。
• RQ4 特にディープラーニングのような計算負荷の高い分野において、モデルの性能は異なるアプリケーションクラスでどのように変動するか。
• RQ5 学習済みGNN表現は、最小限のデータで効果的にファインチューニング可能であり、新しいターゲットドメインへの迅速な展開を可能にするか。

主な発見

• gnn4hlsフレームワークは、フルサイクルHLSシミュレータと同等の予測精度を達成し、推論速度は最大1000倍高速である。
• 線形代数カーネル（ディープラーニングに不可欠）を含む多様なアプリケーションにわたり、強力な一般化性能を示し、最先端のベースラインと比較してADR（平均パラメータフロンティア距離）が低い。
• わずか数個の新しいアプリケーションサンプルでのファインチューニングにより高い性能が得られ、フレームワークの未学習設計空間への適応性を裏付けた。
• ハイブリッド制御およびデータフロー・グラフ表現により、任意長のプログラムの効果的なモデリングが可能であり、正確な予測に不可欠な意味的不変性を保持した。
• 従来のモデルベースおよびリファインメントベースDSE戦略と比較して、収束速度およびパラメータフロンティア近似の両面で優れた性能を示した。
• 実験的評価により、ベンチマーク全体で性能予測の分散が低く、特にニューラルプロセッシングワークロードにおいて平均精度が高く、一貫性のある結果が得られた。