[論文レビュー] Ultra Low-latency, Low-area Inference Accelerators using Heterogeneous Deep Quantization with QKeras and hls4ml

Claudionor N. Coelho, Aki Kuusela+6 more|arXiv (Cornell University)|Jun 15, 2020

Particle Detector Development and Performance参考文献 5被引用数 20

ひとこと要約

本論文では、量子化感知学習を備えた異種量子化深層ニューラルネットワークを可能にするKeras拡張であるQKerasを提示し、hls4mlと統合してFPGAへの自動デプロイを実現している。このアプローチにより、CERNにおける高エネルギー物理学のイベントトリガー課題で実証されたように、最小限の面積とエネルギー消費で、サブマイクロ秒レベルの超低遅延推論が達成された。

ABSTRACT

In this paper, we introduce the QKeras library, an extension of the Keras library allowing for the creation of heterogeneously quantized versions of deep neural network models, through drop-in replacement of Keras layers. These models are trained quantization-aware, where the user can trade off model area or energy consumption by accuracy. We demonstrate how the reduction of numerical precision, through quantization-aware training, significantly reduces resource consumption while retaining high accuracy when implemented on FPGA hardware. Together with the hls4ml library, this allows for a fully automated deployment of quantized Keras models on chip, crucial for ultra low-latency inference. As a benchmark problem, we consider a classification task for the triggering of events in proton-proton collisions at the CERN Large Hadron Collider, where a latency of ${\mathcal O}(1)~\mu$s is required.

研究の動機と目的

• リソース制約のあるハードウェア上でリアルタイム応用を想定した低遅延・高エネルギー効率の深層ニューラルネットワークをデプロイする課題に対処すること。
• 異種量子化を通じて、モデルの精度、面積、エネルギー消費の間の細粒度なトレードオフを可能にすること。
• hls4mlを用いて、量子化されたKerasモデルをFPGAにデプロイする完全自動化パイプラインの開発。
• CERNのようなリアルタイムシステム（例：素粒子物理学のトリガー）で求められるサブマイクロ秒レベルの推論遅延を達成すること。
• 高精度でリソースを最小限に抑えたDNN推論が、FPGA上で超低遅延ワークロードに適していることを実証すること。

提案手法

• QKerasをKerasに拡張し、標準レイヤーを異種量子化された同等物にすんなり置き換えられるようにすることで、異種量子化を可能にする。
• 量子化感知学習を適用し、モデル最適化中に量子化の影響をシミュレートすることで、低精度制約下でも精度を維持する。
• hls4mlを用いて、量子化されたKerasモデルをFPGA実装用のハイレベル合成コードに自動変換する。
• レイヤーごとに異なる数値形式（例：4ビット、8ビット）を組み合わせた混合精度をサポートし、面積と遅延の最適化を可能にする。
• モデルトレーニングからFPGAビットストリーム生成まで、最小限のユーザー介入でパイプライン全体を統合する。
• モデル精度を維持しながら、遅延とリソース使用量を最小限に抑えるためのハードウェアマッピングを最適化する。

実験結果

リサーチクエスチョン

• RQ1 異種量子化と量子化感知学習を組み合わせることで、精度を損なわせずにモデルの面積とエネルギー消費を顕著に削減できるか？
• RQ2 QKerasとhls4mlパイプラインは、FPGA上での超低遅延推論に向けた量子化DNNのデプロイをどの程度自動化できるか？
• RQ3 複雑なDNNが使用されるリアルタイムの高エネルギー物理学のイベントトリガーにおいて、FPGA上でサブマイクロ秒レベルの推論遅延を達成するのは現実的か？
• RQ4 異種量子化を用いる場合、モデルの精度、ハードウェアリソース使用量、推論遅延の間のトレードオフはどの程度効果的か？
• RQ5 提案されたパイプラインは、重要なレイヤーの数値精度を4ビット以下にまで低減しても、高い精度を維持できるか？

主な発見

• QKerasによる異種量子化により、高い精度を維持したまま、モデルの面積とエネルギー消費を顕著に削減できる。
• QKerasとhls4mlの統合により、量子化モデルのFPGAへのデプロイが完全に自動化され、手動最適化の最小限化が実現された。
• パイプラインは1マイクロ秒オーダーの推論遅延を達成し、CERNのリアルタイムイベントトリガーにおける厳しい要件を満たした。
• 量子化感知学習は、特に異種量子化と組み合わせた場合、極めて精度の低い精度制約下でも精度の低下を効果的に緩和した。
• レイヤーごとの精度を細かく制御できるため、遅延、面積、精度の最適なトレードオフが可能になった。
• 本システムは、高エネルギー物理学の応用で使用される複雑なDNNについても、FPGA上で超低遅延推論が実現可能であることを示した。