[論文レビュー] Enabling Automated FPGA Accelerator Optimization Using Graph Neural Networks

Atefeh Sohrabizadeh, Yunsheng Bai+2 more|arXiv (Cornell University)|Nov 17, 2021

Embedded Systems Design Techniques参考文献 43被引用数 5

ひとこと要約

本稿では、FPGA高水準合成（HLS）の性能をミリ秒単位で予測できるグラフニューラルネットワーク（GNN）ベースのサーヴィレートモデル、GNN-DSEを提案する。プログラムを制御フロー、データフロー、コールグラフ、プリプロセッサ（pragma）フローを統合したグラフとしてモデル化することで、GNNは遅延、リソース使用量、その他の目的関数を高い精度で推定し、最小限の学習データで未学習のカーネルに対してもほぼ最適な結果を達成する。

ABSTRACT

High-level synthesis (HLS) has freed the computer architects from developing their designs in a very low-level language and needing to exactly specify how the data should be transferred in register-level. With the help of HLS, the hardware designers must describe only a high-level behavioral flow of the design. Despite this, it still can take weeks to develop a high-performance architecture mainly because there are many design choices at a higher level that requires more time to explore. It also takes several minutes to hours to get feedback from the HLS tool on the quality of each design candidate. In this paper, we propose to solve this problem by modeling the HLS tool with a graph neural network (GNN) that is trained to be used for a wide range of applications. The experimental results demonstrate that by employing the GNN-based model, we are able to estimate the quality of design in milliseconds with high accuracy which can help us search through the solution space very quickly.

研究の動機と目的

• HLSにおける設計評価に数分から数時間もかかる長時間のフィードバックループを解消すること。
• HLS最適化における多数のプリプロセッサ（pragma）組み合わせに起因する設計空間の指数的増加を克服すること。
• 遅いHLSツールの実行に依存せずに、自動的かつスケーラブルな設計空間探索（DSE）を可能にすること。
• 学習済みのカーネルから得た知識を新しい未学習のアプリケーションに一般化できる移譲可能なモデルを開発すること。
• ツールに依存しないフレームワークを構築し、Pareto最適な設計ポイントの予測精度を維持したままDSEを高速化すること。

提案手法

• 制御フロー、データフロー、コールグラフ、プリプロセッサのアノテーションを符号化した異種グラフとしてFPGA設計を表現する。
• ジャンピング・ナレッジネットワーク（JKN）、ノードアテンション、マルチヘッド予測を用いたGNNを訓練し、設計パrameter間の複雑で非線形な相互作用を捉える。
• GNNをサーヴィレートモデルとして用い、1設計あたり数ミリ秒でHLSの主要な目的関数（例：遅延、リソース使用量）を予測する。
• HLSツールによる評価から得られる高品質な設計を反復的に追加することで、訓練データベースを拡張するヒューリスティック駆動のDSEフレームワークを実装する。
• 未学習の訓練セットに含まれない新しいカーネルに対してGNNを微調整することで転移学習を活用し、ドメイン間での一般化を可能にする。
• 予測された性能に基づいて候補をランク付けすることで、Pareto最適な設計を探索するGNNモデルをDSEパイプラインに統合する。

実験結果

リサーチクエスチョン

• RQ1 GNNベースのサーヴィレートモデルは、遅いHLSツールの実行に代わって、ミリ秒単位でHLS性能指標（遅延、リソース使用量）を正確に予測できるか？
• RQ2 限定的な数のカーネルで学習したGNNモデルは、異なるドメインの新しい未学習カーネルへどの程度一般化できるか？
• RQ3 提案されたDSEフレームワークは、ブルートフォース探索やヒューリスティックベースの探索と比較して、Pareto最適な設計を効果的に見つけられるか？
• RQ4 非単調的かつ相関するプリプロセッサパrameter（例：アンロール要因、パイipelニング）の影響をモデルは効率的に処理できるか？
• RQ5 転移学習の統合により、新しいアプリケーションにおけるHLS評価回数が著しく削減できるか？

主な発見

• GNN-DSEモデルは、性能予測を1ミリ秒未満で実行し、評価時間を数分からミリ秒に短縮する。
• 3ラウンドのデータベース拡張後、GNN-DSEは最良の初期設計比で平均1.8倍の高速化を達成し、全カーネルがベースライン性能を改善または維持した。
• 2mmカーネルでは、60分間で4億9200万個の設計ポイントのうち7万8676個を探索したが、21時間の探索後もAutoDSEと比較して0.98倍の高速化を達成した。
• 未学習のカーネル（gesummv、bicg、2mm）において、GNN-DSEはAutoDSEとほぼ同等の性能を達成した（18倍、26倍、350倍の高速化）が、訓練セット外であったにもかかわらず、強い一般化能力を示した。
• bicgカーネルでは、1.05倍の高速化を達成し、AutoDSEの1.05倍を上回った。これは、設計空間を完全に探索できたことによるもので、GNN-DSEのDSEの効率性を示している。
• わずかな学習例で十分な性能を発揮したため、新しいカーネルに対してもモデルの一般化能力が高く、転移学習が新しいアプリケーションにおける高価なHLS評価の必要性を顕著に削減することがわかった。