[論文レビュー] hls4ml: An Open-Source Codesign Workflow to Empower Scientific Low-Power Machine Learning Devices

Farah Fahim, Hawks, Benjamin+28 more|arXiv (Cornell University)|Mar 9, 2021

Scientific Computing and Data Management被引用数 61

ひとこと要約

tldr: 訓練済みニューラルネットワークを高位合成を通じて FPGA/ASIC 実装へ翻訳するオープンソースのワークフロー hls4ml を導入し、量子化対応トレーニング、プルーニング、科学分野での低消費電力・低レイテンシMLのエンドツーエンドデバイスバックエンドを提供します。

ABSTRACT

Accessible machine learning algorithms, software, and diagnostic tools for energy-efficient devices and systems are extremely valuable across a broad range of application domains. In scientific domains, real-time near-sensor processing can drastically improve experimental design and accelerate scientific discoveries. To support domain scientists, we have developed hls4ml, an open-source software-hardware codesign workflow to interpret and translate machine learning algorithms for implementation with both FPGA and ASIC technologies. We expand on previous hls4ml work by extending capabilities and techniques towards low-power implementations and increased usability: new Python APIs, quantization-aware pruning, end-to-end FPGA workflows, long pipeline kernels for low power, and new device backends include an ASIC workflow. Taken together, these and continued efforts in hls4ml will arm a new generation of domain scientists with accessible, efficient, and powerful tools for machine-learning-accelerated discovery.

研究の動機と目的

• MLモデルをエネルギー効率の高いFPGA/ASIC実装へ翻訳するオープンソースのワークフローを提供する。
• 領域科学者がエンジニアリング労力を削減してMLハードウェア共設計を行えるようにする。
• 量子化やプルーニングなどの訓練時最適化をハードウェアに優しいワークフローへ組み込む。
• 低消費電力MLハードウェアの普及を広げるため、複数のバックエンドとデバイスターゲットをサポートする。
• エンドツーエンドのワークフローを実演し、ハードウェアリソースとレイテンシのトレードオフを定量化する。

提案手法

• 学習済みNNモデルをHLSベースのハードウェアアクセラレータへ変換する。Python APIとモデル変換ツール（QKeras、TensorFlow、PyTorch、ONNX）を用いてhls4mlを使う。
• 量子化対応トレーニング（QAT）、プルーニング（ lottery-ticket ベースの手法を含む）、レイヤーフュージョンなどの最適化を適用し、精度と計算量を削減する。
• 再利用ファクター、固定小数点ビット幅、プルーニング割合などの設定可能なパラメータを提供し、レイテンシ、スループット、電力、リソースのバランスを取る。
• ベンダー固有のバックエンドを生成する（Xilinx向けVitis HLS、Intel Quartus HLSおよびMentor Catapult HLSの継続サポートを予定）。
• MLワークフロー内でデバッグと検証のため、生成されたHLSコードのビット厳密なPythonエミュレーションを有効にする。
• Vitis Accel統合とデバイス固有の考慮事項を含むエンドツーエンドのFPGA/ASICワークフローを説明する。

実験結果

リサーチクエスチョン

• RQ1 オープンソースのコードサインワークフローは、訓練済みMLモデルをエネルギー効率の高いFPGA/ASIC実装へどのように翻訳できるか。
• RQ2 訓練時最適化（量子化、プルーニング）は、ハードウェア資源を削減しつつ精度を最もよく保持するにはどうするべきか？
• RQ3 ハードウェア設計の選択（ビット精度、再利用ファクター、スパース性）は、低消費電力MLデバイスのレイテンシ、スループット、電力にどのように影響するか？
• RQ4 バックエンドとデバイスターゲット（FPGA/ASIC）を複数サポートし、実用的なエンドツーエンドプロセスを提供できるか？
• RQ5 科学的タスク（例：ジェット分類、MNIST）におけるこのワークフローの実用的なデモと、達成されるハードウェア節約は何か？

主な発見

• 量子化対応トレーニングは、ビット幅を縮小しても同等の精度を実現できる（例：6-bit QATは32-bitベースライン近くの精度を維持）。
• QATと組み合わせたプルーニングは、計算量（BOPs）とハードウェア資源を大幅に削減でき、対象タスクで性能の損失はほとんどない。
• エンドツーエンドのFPGAワークフロー（例：Vitis Accel）とASICバックエンドをサポートしており、Xilinx FPGA等でのスケーラブルな展開を可能にする。
• 再利用ファクターとスパース性対応カーネルの設定により、特定のアプリケーション向けに DSP/LUT使用とレイテンシのトレードオフを調整できる。
• ハードウェアの結果は、Xilinx FPGA上の16-bitモデルと6-bit QATモデルでDSP使用率が27%から0.6%へ大幅削減など、リソース削減とレイテンシの改善を示す。
• デモには jet classification と MNIST が含まれ、実際のFPGAリソースとレイテンシプロファイルを示す。