[論文レビュー] Transparent Live Code Offloading on FPGA

Roberto Rigamonti, Baptiste Delporte+2 more|arXiv (Cornell University)|Sep 1, 2016

Parallel Computing and Optimization Techniques参考文献 13被引用数 3

ひとこと要約

本論文は、コード変更や事前デプロイ済みビットストリームを必要とせずに、実行時において計算負荷の高いコード断片をFPGAに動的にオフロードする、透明で実行時フレームワークを提示する。実行時におけるLLVM中間表現（IR）の分析により、システムはホットスポットを特定し、JITコンパイルを用いて事前にプログラム済みのデータフローオーバーレイをFPGA上で再構成し、最小限のオーバーヘッドで即時の加速を実現する。これにより、アプリケーションに適応したハードウェア加速が可能となる。

ABSTRACT

Even though it seems that FPGAs have finally made the transition from research labs to the consumer devices' market, programming them remains challenging. Despite the improvements made by High-Level Synthesis (HLS), which removed the language and paradigm barriers that prevented many computer scientists from working with them, producing a new design typically requires at least several hours, making data- and context-dependent adaptations virtually impossible. In this paper we present a new framework that off-loads, on-the-fly and transparently to both the user and the developer, computationally-intensive code fragments to FPGAs. While the performance should not surpass that of hand-crafted HDL code, or even code produced by HLS, our results come with no additional development costs and do not require producing and deploying a new bit-stream to the FPGA each time a change is made. Moreover, since optimizations are made at run-time, they may fit particular datasets or usage scenarios, something which is rarely foreseeable at design or compile time. Our proposal revolves around an overlay architecture that is pre-programmed on the FPGA and dynamically reconfigured by our framework to execute code fragments extracted from the Data Flow Graph (DFG) of computational intensive routines. We validated our solution using standard benchmarks and proved we are able to off-load to FPGAs without developer's intervention.

研究の動機と目的

• 従来のFPGAプログラミング、特に高水準合成（HLS）における長いコンパイルおよびデプロイサイクルを要する点に起因する高い開発コストと柔軟性の欠如に対処すること。
• アプリケーションコードの変更やプリディレクティブの追加なしに、実行時において計算負荷の高いコード断片を自動的にFPGAにオフロードすること。
• 実際のワークロードや入力データに基づいてFPGAの機能を実行時において適応可能にすることにより、静的最適化や事前にコンパイルされたビットストリームの制限を克服すること。
• 開発者およびエンドユーザーに対して言語に依存せず、透明なハードウェア加速を提供することで、FPGAの採用障壁を低減すること。
• 実行時において、性能が著しく影響を受けるコード領域をリアルタイムで特定・分析・加速できる、完全に動的かつ即時の再構成が可能なシステムを実証すること。

提案手法

• 低オーバーヘッドのパフォーマンスモニタを用いて、実行時におけるアプリケーション実行を監視し、リソースを最も多く消費しているコード断片（実行時間またはメモリアクセス回数）を特定する。
• 特定された重要なコード領域の制御フローダイアグラム（CFG）およびデータフローダイアグラム（DFG）を、LLVM中間表現（IR）から抽出する。
• ジャストインタイム（JIT）コンパイラがスタブコードを生成し、DFGをFPGA上に事前にプログラム済みのデータフローオーバーレイ（DFE）向けのハードウェア構成にコンパイルする。
• DMA転送を用いてPCIeインタフェース経由でDFEを即時の再構成する。データ転送プロトコルは単純性と柔軟性を重視して設計されているが、圧縮が行われていないため75％の帯域幅オーバーヘッドが生じる。
• 非同期的かつブロッキングしないデータ転送を採用し、CPUの関与を最小限に抑える。構成とデータ転送はメインアプリケーションのフローとは独立して処理される。
• フレームワークは汎用的であり、すべてのFPGAをサポートする。DFEは利用可能なリソースに合わせてパrametricにサイズを調整可能である。

実験結果

リサーチクエスチョン

• RQ1 計算負荷の高いコード断片を、開発者の関与なしに実行時において自動的に検出し、FPGAにオフロードすることは可能か？
• RQ2 事前に新しいビットストリームをデプロイすることなく、最小限のパフォーマンスオーバーヘッドで即時のFPGA再構成を実現できるか？
• RQ3 動的でデータに依存する最適化は、静的HLSコンパイルに比べてどれほどパフォーマンスを向上させられるか？
• RQ4 実世界のワークロードにおいて、実行時再構成のコストと得られるパフォーマンス向上のトレードオフをどのように処理できるか？
• RQ5 LLVM IRレベルで完全に動作する、言語に依存せず透明な加速フレームワークを構築することは可能か？

主な発見

• システムは実行時においてコード断片をFPGAに成功してオフロードした。評価されたケースでは、配置・配線を含む全再構成プロセスに約1.18秒を要した。
• JITコンパイルフェーズは16.7msで完了し、最終的なDFE構成のダウンロードにはたった2.1msしかかからなかった。これは、実行時再構成の遅延が非常に低いことを示している。
• データ転送プロトコルにより、32ビットのデータに対して128ビットを送信するため75％のオーバーヘッドが生じ、効果的なPCIe帯域幅は約230MB/s（圧縮非効率性を考慮すると約57.5MB/sに相当）に制限された。
• これらの制限にもかかわらず、動画処理ベンチマークでは31フレーム／秒のフレームレートを達成した。これは純粋なソフトウェア実装の83フレーム／秒に比べて顕著な改善の余地があることを示している。
• システムは17入力、1出力、16個の計算ノードを持つ畳み込みカーネルを正常に特定・オフロードし、DFGレベルでの動的コードオフロードの実現可能性を示した。
• システムは透明に動作する：コード変更もプリディレクティブも不要で、FPGAの存在を開発者が認識する必要がない。これにより、シームレスなハードウェア加速が実現される。