[論文レビュー] Autoencoders on FPGAs for real-time, unsupervised new physics detection at 40 MHz at the Large Hadron Collider

Ekaterina Govorkova, Ema Puljak+12 more|OSTI OAI (U.S. Department of Energy Office of Scientific and Technical Information)|Aug 9, 2021

Particle physics theoretical and experimental studies参考文献 46被引用数 5

ひとこと要約

本論文では、LHCのレベル1トリガ（L1T）において、量子化およびプルーニングされた深層オートエンコーダー（AE）および変分オートエンコーダー（VAE）をFPGAにデプロイすることで、リアルタイムで教師なしの異常検出を実現する手法を提案する。hls4mlを用い、量子化に配慮した学習と遅延最適化されたエンコーダー専用推論を適用することで、Xilinx Virtex VU9P FPGAの論理リソースの3%未満を用いながら80ナノ秒の遅延を達成し、新物理のシグネチャを3桁向上させつつ、L1Tの厳しい制約を満たした。

ABSTRACT

In this paper, we show how to adapt and deploy anomaly detection algorithms based on deep autoencoders, for the unsupervised detection of new physics signatures in the extremely challenging environment of a real-time event selection system at the Large Hadron Collider (LHC). We demonstrate that new physics signatures can be enhanced by three orders of magnitude, while staying within the strict latency and resource constraints of a typical LHC event filtering system. This would allow for collecting datasets potentially enriched with high-purity contributions from new physics processes. Through per-layer, highly parallel implementations of network layers, support for autoencoder-specific losses on FPGAs and latent space based inference, we demonstrate that anomaly detection can be performed in as little as $80\,$ns using less than 3% of the logic resources in the Xilinx Virtex VU9P FPGA. Opening the way to real-life applications of this idea during the next data-taking campaign of the LHC.

研究の動機と目的

• 理論的動機に基づく選択の制限を克服し、LHCのレベル1トリガで深層学習を用いてリアルタイムで教師なしの異常検出を可能にすること。
• L1Tの1μsの遅延制約および150ナノ秒のイニシエーションインターバル制約を満たすリソース制限のあるFPGA上でのオートエンコーダー基盤の異常検出のデプロイに適応すること。
• プルーニング、量子化、アーキテクチャ最適化によりモデルの複雑さを低減しながら、希少な新物理シグネチャの検出精度を保持すること。
• エンコーダーのみを用いた潜在空間ベースの推論が、コストの高いデコーダー計算を回避し、FPGAリソース使用量を顕著に削減できることを示すこと。
• LHCラン3におけるL1Tへの(V)AEのデプロイ可能性を検証し、シグネチャモデルに依存しないデータ収集を可能にすること。

提案手法

• hls4mlライブラリを用いてトレーニング済みのニューラルネットワークをFPGAファームウェareにマッピングし、DNNおよびCNNオートエンコーダーの高水準合成を可能にした。
• フル精度から8ビットまたは4ビットに精度を低減するため、量子化に配慮した学習（QAT）とトレーニング後の量子化（PTQ）を適用し、FPGAリソース使用量を最小限に抑えた。
• モデルプルーニングと不要な演算の削除を実施し、精度の著しい損失なしにネットワークアーキテクチャをさらに圧縮した。
• VAEの遅延最適化されたエンコーダー専用推論戦略を実装し、トリガパスにおけるデコーダー計算およびガウスサンプリングの必要性を排除した。
• 潜在空間の再構成誤差を異常スコアとして用い、確率的要素を含まずに決定論的なトリガ判断を可能にした。
• HLS CシミュレーションおよびVivado HLSを用いた設計の検証を行い、最終的にXilinx VCU118ボード（VU9P FPGA搭載）のemp-fwkファームウェアスタックに統合した。

実験結果

リサーチクエスチョン

• RQ1 オートエンコーダー基盤の異常検出が、1μs未満の遅延と最小限のFPGAリソース使用量を満たすLHCのレベル1トリガにデプロイ可能か？
• RQ2 L1Tのリソースおよびタイミング制約下で、全結合型と畳み込み型のオートエンコーダーのアーキテクチャの性能はどのように比較されるか？
• RQ3 量子化とプルーニングを用いることで、FPGAデプロイに適したモデルサイズを小さくしつつ、異常検出精度をどの程度保持できるか？
• RQ4 VAEアーキテクチャでエンコーダーのみを用いることで、リソース消費量を顕著に削減できるか、かつ異常検出能力に影響を及げないか？
• RQ5 VAEのエンコーダーのみを用いることで、L1Tで新物理シグネチャの検出感度を3桁向上させるのは現実的か？

主な発見

• 8ビット量子化を施したDNN VAEは、Xilinx Virtex VU9P FPGA上で1%のDSP、3%のLUT、0.5%のFF、0.3%のBRAMを消費し、遅延80ナノ秒を達成した。
• CNN AEモデルは8%のDSPと47%のLUTを必要とし、実用的なリソース予算を超過したため、今後のデプロイから除外された。
• エンコーダー専用のVAE推論により、フルVAEと比較して遅延が2倍に短縮され、同程度の異常検出性能を維持した。
• CNN AEを除くすべてのモデルが150ナノ秒のイニシエーションインターバル要件を満たし、DNN VAEが最も低いリソース使用量と最短の遅延を達成した。
• DNN VAEモデルは、240 MHzでシミュレーションおよびハードウェアテストを経て、emp-fwkファームウェアスタックに正常に統合された。
• Xilinx V7-690 FPGAのリソース見積もりでは、DNN VAEは3%のDSP、9%のLUT、3%のFF、0.4%のBRAMを消費し、遅延205ナノ秒を示した。これにより、現在のCMSトリガハードウェアに適した実現可能性が裏付けられた。