[論文レビュー] Event Generation and Density Estimation with Surjective Normalizing Flows

Rob Verheyen|arXiv (Cornell University)|May 3, 2022

Particle physics theoretical and experimental studies参考文献 61被引用数 46

ひとこと要約

この論文は、素粒子物理学の衝突イベント生成および密度推定のための正規化フローを向上させるために、全射的かつ確率的正規化フロー層を導入する。置換不変性、変分デキュアンタイゼーションおよびargmax全射を用いた離散的特徴のモデリング、および可変なイベント次元性を全射的変換で扱うことで、正確な尤度評価を維持しながら、複雑で現実的であるイベント特徴をモデル化できる。この手法は、ダークマシンチャレンジにおける異常検出で最先端の性能を達成し、特に未観測で複雑な信号において顕著である。

ABSTRACT

Normalizing flows are a class of generative models that enable exact likelihood evaluation. While these models have already found various applications in particle physics, normalizing flows are not flexible enough to model many of the peripheral features of collision events. Using the framework of Nielsen et al. (2020), we introduce several surjective and stochastic transform layers to a baseline normalizing flow to improve modelling of permutation symmetry, varying dimensionality and discrete features, which are all commonly encountered in particle physics events. We assess their efficacy in the context of the generation of a matrix element-level process, and in the context of anomaly detection in detector-level LHC events.

研究の動機と目的

• 標準の正規化フローが、LHC衝突イベントの重要な特徴（置換不変性、離散的特徴、可変次元性）をモデル化する上で柔軟性に欠ける問題に対処すること。
• 全射的および確率的変換を正規化フローに拡張し、正確な尤度評価を維持しながらモデル化能力を向上させること。
• 提示されたフレームワークを、行列要素レベルのイベント生成および高エネルギー物理学における検出器レベルの異常検出の両方で評価すること。
• 実世界の素粒子物理学タスクにおける、さまざまな全射的変換戦略（確率的置換、ソート全射、変分デキュアンタイゼーション、argmax全射、および因子化モデル）の性能を比較すること。

提案手法

• 正規化フローに全射的および確率的変換層を導入し、非双曲的・非可逆的変換を許容しながらも、計算可能な尤度評価を維持する。
• 潜在変数をモデル化するための変分推論フレームワークを採用し、VAEの表現力と正規化フローの正確な尤度の両方を統合する。
• 複数の対象を持つイベントにおける置換不変性を強制するために確率的置換層を用い、訓練の安定性向上のための代替策としてソート全射も利用する。
• 粒子種別や量子数などの離散的特徴をモデリングするために、変分デキュアンタイゼーションおよびargmax全射を適用する。
• 可変なオブジェクト数を持つイベントに対応するため、境界の緩みが消失するよう設計された全射的変換を開発する。
• 離散的特徴のための因子化モデルを採用し、正確な尤度計算を可能にするとともに、混合モデルの代替として優れた性能を発揮する。

実験結果

リサーチクエスチョン

• RQ1 全射的および確率的変換を正規化フローに効果的に統合し、置換不変性、離散的特徴、可変次元の素粒子物理学的イベントをモデル化しつつ、正確な尤度評価を維持できるか？
• RQ2 変分デキュアンタイゼーション、argmax全射、因子化モデルといった、離散的特徴のモデリング戦略の違いが、イベント生成および密度推定における性能に与える影響は何か？
• RQ3 確率的置換層を用いることで、決定的ソート全射と比較して低統計量の状況における一般化性能が向上するか？
• RQ4 提示されたフレームワークは、複雑で現実的なLHCデータセットにおける異常検出において、既存の最先端モデルと比較して優れているか？
• RQ5 混合モデルの近似尤度とは対照的に、因子化モデルによる正確な尤度評価が、どのような状況で性能優位性を発揮するか？

主な発見

• 低統計量チャネル（1, 2a, 2b）では、確率的置換層がソート全射を上回る性能を示す一方、高統計量チャネル3ではソート全射が優れるため、一般化性能とデータ効率のトレードオフが生じていることが示された。
• 離散的特徴のための因子化モデルは、カテゴリの増加に伴い次元が高くなり、データ効率が著しく低下する混合モデルと比較して、優れた性能を発揮した。
• 提案された全射的変換を用いた可変次元性のモデルは、境界の緩みが消失するよう設計されており、異なるオブジェクト数を持つイベント間で正確な尤度評価と頑健な密度推定を実現した。
• ダークマシン異常スコアチャレンジの非公開データセットにおいて、提案モデルは[21]で最も優れたモデルを上回り、チャネル2aおよび3で最高の結果を達成した。
• 確率的置換とデキュアンタイゼーションを組み合わせたモデルは、チャネル3において[21]のフロー・モデルを上回った。これは、正確な尤度と柔軟なモデリングが、高データ量の状況で優位性を発揮することを示している。
• 非物理的かつ複雑な信号に対する非公開データセットにおける一般化性能が強く、分布シフトに対して頑健であり、現実世界の異常検出への応用可能性を示している。