[論文レビュー] Studying the potential of Graphcore IPUs for applications in Particle Physics

L. R. Madhan Mohan, A. M. Marshall+6 more|arXiv (Cornell University)|Aug 20, 2020

Particle physics theoretical and experimental studies参考文献 40被引用数 11

ひとこと要約

本研究では、素粒子物理学のワークロードにおけるGraphcoreのIntelligence Processing Unit（IPU）の性能を評価し、IPUが主要な機械学習およびトラッキング応用においてGPUおよびCPUを上回ることを示した。MIMD並列処理を用いて、小バッチモデルの推論および学習で最大5倍の高速化を達成した。最初世代のIPUにはメモリ容量が限られているが、条件付き制御フローのワークロード（例：カルマンフィルタリング）においても優れた性能を発揮した。

ABSTRACT

This paper presents the first study of Graphcore's Intelligence Processing Unit (IPU) in the context of particle physics applications. The IPU is a new type of processor optimised for machine learning. Comparisons are made for neural-network-based event simulation, multiple-scattering correction, and flavour tagging, implemented on IPUs, GPUs and CPUs, using a variety of neural network architectures and hyperparameters. Additionally, a Kálmán filter for track reconstruction is implemented on IPUs and GPUs. The results indicate that IPUs hold considerable promise in addressing the rapidly increasing compute needs in particle physics.

研究の動機と目的

• 素粒子物理学における機械学習および物理学固有のワークロードに対するGraphcore IPUの性能を評価すること。
• イベントシミュレーション、フレーバータギング、トラック再構築の分野におけるニューラルネットワークの推論および学習において、IPUの性能をGPUおよびCPUと比較すること。
• カルマンフィルタリングのようなヒットの除外を伴う条件付き制御フローを含む、不規則的かつスパースなワークロードにIPUが適しているかどうかを調査すること。
• TensorFlowやPyTorchなどのハイレベルフレームワークを用いた高エネルギー物理学アプリケーションにおけるIPUのプログラミングのしやすさを評価すること。
• IPUのMIMDアーキテクチャが、実世界の物理学ワークロードにおいて従来のSIMD GPUに比べて優位性を発揮するかどうかを特定すること。

提案手法

• TensorFlowおよびPyTorchを用いて、IPU、GPU、CPUの各プロセッサ上で、イベント生成およびフレーバータギングのための複数のニューラルネットワークアーキテクチャ（全結合型、畳み込み型、局所接続型GAN）を実装・ベンチマークした。
• GraphcoreのPoplar SDKを用いて、ヒット観測に基づく条件付き状態更新を可能にするIPU上でのカルマンフィルタの実装を実施し、同等のTensorFlowベースのGPU実装と比較した。
• さまざまなバッチサイズにおけるスループットおよびレイテンシを測定し、性能スケーリングおよびメモリ効率を評価した。
• IPUおよびGPUの両方で、ヒット除外論理を有効・無効にした場合のスループットを比較することで、条件付き実行が性能に与える影響を調査した。
• 最初世代のGraphcore Colossus MK1 GC2 IPUをクラウド経由でアクセスし、ハイエンドGPUおよび2台のハイエンドCPUと比較した結果を分析した。
• 移植時間および開発作業の負荷を評価し、IPU経験のないチームが6か月未満で動作可能な実装に到達したことを記録した。

実験結果

リサーチクエスチョン

• RQ1 IPUの性能は、素粒子物理学関連のニューラルネットワークにおける学習および推論において、GPUおよびCPUと比べてどのように異なるか？
• RQ2 IPUのMIMDアーキテクチャは、不規則なデータアクセスおよび条件付き制御フローを伴うワークロードにおいて、GPUのSIMDと比較して性能優位性を発揮するか？
• RQ3 GANベースのイベント生成およびフレーバータギングのような大規模な素粒子物理学ワークロードを、IPUが競争力のあるスループットで処理できるか？
• RQ4 バッチサイズが、IPUとGPUの性能差にどのように影響するか、特にIPUのメモリ容量が小さいという点を考慮して？
• RQ5 TensorFlowやPyTorchなどのハイレベルフレームワークを用いたIPUのプログラミングはどの程度可能で、物理学研究者がどれほど迅速に採用できるか？

主な発見

• 小バッチワークロード（≤100）では、IPUは推論および学習の両方でGPUを4〜5倍の速度で上回り、特に条件付き制御フローのシナリオで顕著な優位性を示した。
• GANベースのイベント生成においても、IPUはスパースかつ不規則な演算を効率的に処理できるため、小さなバッチサイズでもGPUを上回る学習および推論速度を達成した。
• カルマンフィルタの実装において、IPUは条件付き実行下でも高いスループットを維持したが、GPUはワーブディブェルジョンを引き起こし、性能が50％以上低下した。
• GPUよりメモリ容量が小さいにもかかわらず、IPUは畳み込み型および局所接続型GANにおいて、優れたメモリアクセスパターンとスレッドレベルの並列処理のおかげでGPUを上回った。
• IPUのMIMDアーキテクチャにより、独立したスレッドパスの実行が効率的に行えるため、GPUのSIMD実行と比較して条件付き論理による性能劣化が低減された。
• IPU経験のないチームが6か月未満で動作可能な実装に到達したため、ハイレベルフレームワークを用いた素粒子物理学研究者がIPUを低障壁で採用できる可能性が示された。