[論文レビュー] CFU Playground: Full-Stack Open-Source Framework for Tiny Machine Learning (tinyML) Acceleration on FPGAs

Shvetank Prakash, Tim Callahan+6 more|arXiv (Cornell University)|Jan 5, 2022

Parallel Computing and Optimization Techniques被引用数 5

ひとこと要約

CFU Playground は、FPGA 上の TinyML 推論用にカスタム機能ユニット（CFU）の迅速かつアジールなハードウェア・ソフトウェア共同設計を可能にするオープンソースでフルスタックのフレームワークである。ソフトウェア RISC-V CPU をドメイン特化の CFU と密接に結合し、Vizier を用いた自動最適化により、繰り返しの設計・プロファイリング・最適化によって 55× から 75× の高速化を達成した。

ABSTRACT

Need for the efficient processing of neural networks has given rise to the development of hardware accelerators. The increased adoption of specialized hardware has highlighted the need for more agile design flows for hardware-software co-design and domain-specific optimizations. In this paper, we present CFU Playground: a full-stack open-source framework that enables rapid and iterative design and evaluation of machine learning (ML) accelerators for embedded ML systems. Our tool provides a completely open-source end-to-end flow for hardware-software co-design on FPGAs and future systems research. This full-stack framework gives the users access to explore experimental and bespoke architectures that are customized and co-optimized for embedded ML. Our rapid, deploy-profile-optimization feedback loop lets ML hardware and software developers achieve significant returns out of a relatively small investment in customization. Using CFU Playground's design and evaluation loop, we show substantial speedups between 55$ imes$ and 75$ imes$. The soft CPU coupled with the accelerator opens up a new, rich design space between the two components that we explore in an automated fashion using Vizier, an open-source black-box optimization service.

研究の動機と目的

• リソース制限のある埋め込みシステムにおけるドメイン特化の TinyML エンジン用に、アジールで低コストな設計フローが不足しているという問題に対処すること。
• 単に孤立したアクセラレータの性能だけでなく、システム全体のボトル neck を考慮した包括的なハードウェア・ソフトウェア共同設計を可能にすること。
• FPGA 上でのカスタム機能ユニット（CFU）の迅速なプロトタイピングと評価を可能にする、オープンで拡張可能でベンダーアーギールのフレームワークを提供すること。
• 高い NRE コストを伴わずに、ソフトウェア CPU と密結合された CFU の間の設計空間をモデル固有の最適化のために探索すること。
• 効率的な TinyML アクセラレーションを実現するための反復的でフィードバック駆動の設計サイクル（デプロイ → プロファイリング → 最適化）をサポートすること。

提案手法

• TensorFlow Lite Micro、GCC、LiteX、VexRiscv、Migen、Amaranth、yosys、nextpnr、F4PGA/SymbiFlow などのオープンソースツールチェーンを統合し、エンドツーエンドの FPGA ベース SoC 生成を実現する。
• ソフトウェア RISC-V CPU を、特定のアプリケーションに特化したカスタム CFU で拡張し、畳み込み演算などの重要な機械学習計算ホットスポットを高速化する。
• オープンソースのブラックボックス最適化サービスである Vizier を用いて、CPU と CFU の構成の間の設計空間のトレードオフを自動的に探索する。
• ループアンローリング、SIMD の乗算累積演算、データレイアウト変換などの反復的最適化技術を適用し、MobileNetV2 の深度可分畳み込みなどの重要なカーネルを高速化する。
• ハードウェア（CFU）とソフトウェア（TFLM カーネル）の両方に対するモデルに依存しない段階的カスタマイズを可能にし、パフォーマンスとリソース使用量を共同最適化する。
• システム全体のオーバーヘッド（データ移動、スケジューリング、前処理など）を捉える、ハードウェアを組み込んだ評価を可能にし、通常は無視されがちなシステムレベルのオーバーヘッドを考慮する。

実験結果

リサーチクエスチョン

• RQ1 フルスタックでオープンソースのフレームワークは、FPGA 上の TinyML エンジンの迅速で低コストな設計と評価をどのように可能にするか？
• RQ2 モデル固有の演算に特化したソフトウェア CPU とカスタム機能ユニット（CFU）を共同設計することで、どの程度のパフォーマンス向上が達成できるか？
• RQ3 Vizier を用いた自動的で機械学習駆動の設計空間探索は、TinyML 推論における最適なハードウェア・ソフトウェアのトレードオフを特定するのにどの程度有効か？
• RQ4 データ移動やスケジューリングなどのシステムレベルのボトル neck は、孤立したアクセラレータ最適化の効果にどの程度影響を与えるか？
• RQ5 CFU は、超低消費電力の埋め込みシステムにおいて、離散型アクセラレータの柔軟でスケーラブルで効率的な代替手段として機能できるか？

主な発見

• CFU Playground は、ベンダーロックインや高い NRE コストなしに、FPGA 上での TinyML エンジンの設計と評価を包括的かつオープンソースでエンドツーエンドで実現できる。
• フレームワークは、畳み込み演算に最適化されたソフトウェア CPU とカスタム CFU の共同最適化により、MobileNetV2 の推論パフォーマンスで 55× から 75× の高速化を達成した。
• Vizier を用いた自動設計空間探索は、最小限の手動作業で大幅なパフォーマンス向上を実現し、迅速な反復と最適化を可能にした。
• CFU のソフトウェアスタックとの統合により、重要な計算ホットスポットの効率的な高速化が可能になった一方で、アルゴリズムの変更に対しても柔軟性を維持した。
• システムレベルのプロファイリングにより、ソフトウェアのオーバーヘッドとデータ移動が主なボトル neck であることが明らかになったが、CFU Playground は包括的な評価によりこれを考慮した。
• フレームワークは段階的カスタマイズをサポートしており、開発者が小さな CFU から始めて完全なアクセラレータへと段階的に拡張できるため、高性能な TinyML システムへのスケーラブルな道筋を示した。