[論文レビュー] FastML Science Benchmarks: Accelerating Real-Time Scientific Edge Machine Learning

J. Duarte, Nhan Viet Tran+5 more|arXiv (Cornell University)|Jul 16, 2022

Advanced Memory and Neural Computing被引用数 5

ひとこと要約

本論文は、素粒子物理学や加速器制御などの科学的分野における教師あり、教師なし、強化学習のタスクを対象とし、超低遅延推論（最短3.9 μs）を実現するリアルタイムの科学的エッジ機械学習ベンチマークスイートを紹介する。ベンチマークにはイベントトリガー、損失ありデータ圧縮、ビーム制御が含まれ、次世代の科学的計器に不可欠なナノ秒〜ミリ秒の遅延制約を満たすために、FPGAにハードウェア最適化されたモデルがデプロイされている。

ABSTRACT

Applications of machine learning (ML) are growing by the day for many unique and challenging scientific applications. However, a crucial challenge facing these applications is their need for ultra low-latency and on-detector ML capabilities. Given the slowdown in Moore's law and Dennard scaling, coupled with the rapid advances in scientific instrumentation that is resulting in growing data rates, there is a need for ultra-fast ML at the extreme edge. Fast ML at the edge is essential for reducing and filtering scientific data in real-time to accelerate science experimentation and enable more profound insights. To accelerate real-time scientific edge ML hardware and software solutions, we need well-constrained benchmark tasks with enough specifications to be generically applicable and accessible. These benchmarks can guide the design of future edge ML hardware for scientific applications capable of meeting the nanosecond and microsecond level latency requirements. To this end, we present an initial set of scientific ML benchmarks, covering a variety of ML and embedded system techniques.

研究の動機と目的

• 最新の科学的計器による増加するデータレートに対応するため、科学的エッジにおける超低遅延機械学習の需要が高まっていることを踏まえたもの。
• MLPerfのような消費者中心のベンチマークとは異なり、一般に適用可能なシステム制約を組み込んだ、最先端の技術を凌駕するベンチマークを定義すること。
• 教師あり、教師なし、強化学習という多様な機械学習パラダイムを、厳密な遅延およびデータレート要件を満たす実際の科学的ワークロードにわたってカバーすること。
• データセットとコードを含む標準化された、アクセスしやすいベンチマークスイートを提供し、科学的エッジMLにおけるハードウェア・ソフトウェア共同設計を加速すること。
• 宇宙探査、神経科学、顕微鏡法などの分野への将来的な拡張を可能にする、拡張可能なベンチマーク設計を通じて、分野横断的応用を促進すること。

提案手法

• 教師あり学習によるレアイベントトリガー（ポイントクラウド入力）、エネルギー分布指標を用いたセンサデータ圧縮（教師なし学習）、時間系列センサデータを用いたリアルタイムビーム制御（強化学習）の3つのコアベンチマークタスクを提案。
• 遅延（RLベンチマークで3.9 μs）、データレート（最大数十TB/s）、パイプライン間隔（例：ビーム制御で5 ms）といったシステムレベルの制約を定義。
• 加速器環境をシミュレートするための固定LSTMスループットモデル（1.5Mパラメータ）と、Intel Arria10 SoC上でオンライン制御を実行するための軽量DQNエージェント（35Kパラメータ）を採用。
• リソース制限のあるFPGA上で低遅延推論を可能にするために、モデル重みとバイアスを20ビットの固定小数点表現に量子化。
• Arria10 SoC上で最小限のリソース使用量を実現するDQNエージェントの最適化：53 DSP、238 BRAM、672 M9Kブロック、43.3k ALM、92.6k フリップフロップ。
• 評価の標準化と科学的およびシステム研究コミュニティにおける採用促進を目的として、公開のプロトタイプコードリポジトリを提供。

実験結果

リサーチクエスチョン

• RQ1 科学的計器に特化したが、同時に多様な分野に一般化可能なリアルタイムのエッジMLベンチマークをどのように定義できるか？
• RQ2 科学的エッジML分野におけるイノベーションを促進するため、遅延、データレート、ハードウェアリソース使用量といった、主要なシステム制約をどのようにベンチマークに組み込むべきか？
• RQ3 教師あり、教師なし、強化学習という複数の機械学習パラダイムをカバーしつつ、一般性と技術的厳密性を保ったベンチマークタスクを設計できるか？
• RQ4 ミッションクリティカルな科学的応用において、FPGAのような埋め込みプラットフォームでサブマイクロ秒レベルの推論遅延（例：3.9 μs）を達成できるか？
• RQ5 標準化されたベンチマークが、極大スケールの科学的データ処理における機械学習アルゴリズムとハードウェアの共同設計をどのように加速できるか？

主な発見

• 加速器ビーム制御の強化学習ベンチマークは、Intel Arria10 SoC上で3.9 μsの遅延を達成し、5 msの制御ループ要件を満たしつつ、データ移動の余裕を確保した。
• DQNエージェントモデルは20ビットの固定小数点表現に量子化され、53 DSP、238 BRAM、92.6k フリップフロップに収容され、FPGA上での効率的なデプロイが可能となった。
• ベンチマークスイートには、イベントトリガー（教師あり）、データ圧縮（教師なし）、ビーム制御（強化学習）という3つの異なる科学的ワークロードが含まれており、多様な機械学習およびシステム要件をカバーしている。
• ベンチマークは拡張可能に設計されており、素粒子物理学、プラズマ物理学、天文学、神経科学などの分野へも適用可能で、将来的な拡張が見込まれる。
• MLPerf Mobile や Tiny といった消費者中心のベンチマークとは異なり、本提案ベンチマークは100倍以上速い推論速度（約100倍速）を実現しており、遅延の点でははるかに厳しい基準を満たしている。
• 再現性の確保、コミュニティ貢献、科学的応用向け新規エッジMLソリューションの標準化された評価を支援するため、公開のコードリポジトリをリリースした。