[論文レビュー] EPiC-ly Fast Particle Cloud Generation with Flow-Matching and Diffusion

Erik Buhmann, Cedric Ewen+8 more|arXiv (Cornell University)|Sep 29, 2023

Generative Adversarial Networks and Image Synthesis被引用数 14

ひとこと要約

本論文は、2つの置換対称ジェットクラウド生成器を導入する。EPiC-JeDi（スコアベース拡散）とEPiC-FM（フロー適合CNF）、ジェットネットのトップジェットデータセットで最先端の忠実度を高速生成で達成。 unconditional vs conditional generation を分析し、拡散と流れベースの視点を統一連続時間フレームワーク内で結びつける。

ABSTRACT

Jets at the LHC, typically consisting of a large number of highly correlated particles, are a fascinating laboratory for deep generative modeling. In this paper, we present two novel methods that generate LHC jets as point clouds efficiently and accurately. We introduce \epcjedi, which combines score-matching diffusion models with the Equivariant Point Cloud (EPiC) architecture based on the deep sets framework. This model offers a much faster alternative to previous transformer-based diffusion models without reducing the quality of the generated jets. In addition, we introduce \epcfm, the first permutation equivariant continuous normalizing flow (CNF) for particle cloud generation. This model is trained with {\it flow-matching}, a scalable and easy-to-train objective based on optimal transport that directly regresses the vector fields connecting the Gaussian noise prior to the data distribution. Our experiments demonstrate that \epcjedi and \epcfm both achieve state-of-the-art performance on the top-quark JetNet datasets whilst maintaining fast generation speed. Most notably, we find that the \epcfm model consistently outperforms all the other generative models considered here across every metric. Finally, we also introduce two new particle cloud performance metrics: the first based on the Kullback-Leibler divergence between feature distributions, the second is the negative log-posterior of a multi-model ParticleNet classifier.

研究の動機と目的

• ジェットクラウド生成を、置換対称アーキテクチャを活用した高速でスケーラブルなサンプリングの実現性を高める。
• 拡散ベースとフロー基盤の連続時間モデルを、ジェット生成のための単一のフレームワーク内で統一できることを示す。
• JetNet top-jetデータセット上で既存モデルとベンチマークを行い、忠実度と速度の向上を確立する。
• conditional と unconditional generation を調査し、ジェットレベルの conditioning が性能に与える影響を検討する。

提案手法

• EPiC層をスコアマッチング拡散と組み合わせてEPiC-JeDiを構築し、高速で正確なジェットクラウドを得る。
• EPiC-FMを導入する。これは、直線的で最適輸送に近い軌道を用いるよう訓練された最初の置換対称CNFである。
• 条件情報をすべてのMLP入力に連結したEPiCネットワークアーキテクチャを、両モデルで適用する。
• ジェットを相対的なハドロン座標を持つ点雲として表現し、pTや質量などジェットレベルの観測量が必要な場合には生成を条件付ける。
• 条件付き設定のために、Mass、pT、成分多重性などの連結されたジェット特性を生成する条件付き正規化フロー（NormFlows）を用いる。
• サンプリングオプション（ODEベースの決定論的サンプリングとSDEベースの確率的サンプリング）を検討し、フロー適合をスコアベースの目的と関連付ける。

Figure 2 : Model schema of the EPiC Network generator architecture used in both EPiC-JeDi and EPiC-FM . Each multi-layer perceptron (MLP) is a two-layer neural network with LeakyReLU activation. The pooling operation is a concatenation of both average and summation pooling.

実験結果

リサーチクエスチョン

• RQ1 EPiC-JeDi（拡散ベース）とEPiC-FM（フロー適合CNF）は、サンプリング速度を保ちつつトップジェット生成の最先端忠実度を達成できるか。
• RQ2 条件付き生成と無条件生成は、置換対称ジェットクラウドモデルの忠実度と効率性の点でどう比較されるか。
• RQ3 このジェット物理設定で、フロー適合とスコアマッチングの目的の使用が訓練の安定性とサンプリング効率に与える影響は何か。
• RQ4 提案されたモデルは、JetNetの異なるトップジェット構成（例：成分数の変化）や条件付け方式にわたって一般化するか。

主な発見

• EPiC-FMは評価指標を横断して一貫して他モデルより高い忠実度を示す。
• 条件付きEPiC-FMは、検討された設定の中で最も高い生成忠実度を達成する。
• EPiC-JeDiは、トランスフォーマーベースの拡散モデルよりもサンプリングが速く、競争力のある性能を提供する。
• 両方のEPiC-JeDiとEPiC-FMはトップジェット生成で高い性能を示し、EPiC-FMは他のベースラインを複数の指標で上回ることが多い。
• 研究は2つの新しい粒子クラウド指標を導入する：KL発散ベースの特徴分布と、多モデルNLPベースの分類器ベンチマーク。

Figure 6 : Generation time per jet as a function of generated particle multiplicity. The generation time is measured on the same hardware using an NVIDIA ® A100 40 GB graphics card, with per-jet times calculated as the average for all test events generated. The batch size was optimised for optimal g