[論文レビュー] Chained Quantile Morphing with Normalizing Flows

S. Bright-Thonney, Philip Harris+2 more|arXiv (Cornell University)|Sep 27, 2023

Particle physics theoretical and experimental studiesPhysics and Astronomy被引用数 3

ひとこと要約

この論文は、高エネルギー物理学におけるモンテカルロ（MC）シミュレーションの補正を目的として、深層学習に基づく手法である正規化フローを用いた連結分位数マッピング（CQM-NF）を提案する。この手法は、シミュレートされたイベント分布を、実データにより適合させるために、連続的かつ可逆的な変換を用いて、条件付き累積分布関数（CDF）をモデル化する。繰り返し適用することで、複雑な相関関係を保持しながら、MCカバレッジが不足する領域においても、再重み付けよりも優れた性能を示し、高次元の粒子レベルデータにおいて、従来のマッピング手法の代替手段としての強力な選択肢を提供する。

ABSTRACT

Accounting for inaccuracies in Monte Carlo simulations is a crucial step in any high energy physics analysis. It becomes especially important when training machine learning models, which can amplify simulation inaccuracies and introduce large discrepancies and systematic uncertainties when the model is applied to data. In this paper, we introduce a method to transform simulated events to better match data using normalizing flows, a class of deep learning-based density estimation models. Our proposal uses a technique called chained quantile morphing, which corrects a set of observables by iteratively shifting each entry according to a conditonal cumulative density function. We demonstrate the technique on a realistic particle physics dataset, and compare it to a neural network-based reweighting method. We also introduce a new contrastive learning technique to correct high dimensional particle-level inputs, which naively cannot be efficiently corrected with morphing strategies.

研究の動機と目的

• モンテカルロ（MC）シミュレーションの不正確さに起因するシステムティック不確実性を、特に機械学習モデルのトレーニングに影響を与える場合に解決すること。
• 離散的でない連結分位数マッピングの代替手段として、連続的で微分可能かつ高精度な手法を、シミュレートされたイベント分布の補正に開発すること。
• 従来のマッピングでは困難であった、高次元の粒子レベル入力を正規化フローを用いて効果的に補正すること。
• 提案手法CQM-NFの性能を、従来の再重み付けおよびマッピング手法と比較し、分布一致および不変量の保存の観点から評価すること。

提案手法

• この手法は、モンテカルロ（MC）とデータの条件付き累積分布関数（CDF）間の連続的かつ可逆的な変換を、正規化フローを用いて学習する。
• 条件付きCDF $ F_i^{\text{MC}}(x_i|\mathbf{x}_{1:i-1}) $ と $ F_i^{\text{Data}}(x_i|\mathbf{x}_{1:i-1}) $ を用いて、逐次的に各観測量を変換することで、連結分位数マッピングを適用し、正しい周辺および条件付き依存関係を保証する。
• 正規化フローのアーキテクチャにより、可逆的かつ微分可能な変換を用いて、複雑な高次元の同時分布をモデル化できる。
• 標準的なマッピングがスパarsityと複雑さのため失敗する高次元の粒子レベル入力の補正を改善するために、対照的学習（contrastive learning）技術を導入する。
• 物理的不変量の破壊を最小限に抑えるために、元のMCサンプルの構造を維持しつつ、データ分布に近づけるように変換を行う。
• 実際の高エネルギー物理学のデータセットを用いて評価し、ニューラルネットワークベースの再重み付け手法と比較することで、特にサンプルが不足する領域で優れた性能を示した。

Figure 1: A schematic demonstrating how chained quantile morphing transforms samples from one $k$ -dimensional PDF $p_{\mathrm{MC}}(x_{1},\ldots,x_{k})$ to another $p_{D}(x_{1},\ldots,x_{k})$ . The shaded regions in blue, green, and orange denote the conditional quantiles of variables $x_{i}$ , $z_{

実験結果

リサーチクエスチョン

• RQ1 正規化フローは、高エネルギー物理学におけるモンテカルロシミュレーションの補正において、離散的でない連結分位数マッピングの連続的かつ高精度な代替手段を提供できるか？
• RQ2 従来のマッピング戦略が失敗する高次元の粒子レベル入力において、提案されたCQM-NF手法は、どの程度の補正性能を示すか？
• RQ3 MCサンプルのカバレッジが不足する領域において、CQM-NFは、イベント重みに依存する再重み付け手法を上回る性能を示すか？
• RQ4 再重み付け手法と比較して、CQM-NFは、再構成された粒子質量などの不変量をどの程度正確に保持できるか？
• RQ5 対照的学習は、複雑で高次元の高エネルギー物理学データにおけるマッピングモデルの訓練と一般化を改善できるか？

主な発見

• CQM-NFは、MCカバレッジが不足する領域においても、シミュレートされたイベント分布を実データにうまく適合させることが可能であり、再重み付け手法がトレーニング例が不足するため失敗する領域でも有効である。
• MCサンプルに相関関係が欠落している5次元のトロイモデルでは、CQM-NFはデータ分布を正確に回復するが、再重み付け手法はカバレッジが不足する領域でデータを再現できない。
• 共鳴崩壊のトロイモデルでは、再重み付け手法は再構成された不変質量分布を完璧に保持するが、CQM-NFは複雑な運動量-$\delta\phi$ 関係を正確に学習できないため、不変質量にスミアリングを引き起こす。
• 不変質量のスミアリングが生じるにもかかわらず、CQM-NFはMC分布とデータが重ならない領域においても、再重み付けよりもよりロバストな補正を提供する。
• 対照的学習技術により、従来のマッピング手法では不可能だった高次元の粒子レベル入力の補正が効果的に可能になった。
• 正規化フローが、高次元の条件付きCDFを効果的にモデル化できることを示し、高エネルギー物理学の応用において、高精度で微分可能な補正を実現できる。

Figure 2: Using CQM to morph between a pair of two-dimensional datasets (top row). The bottom row shows the transformed distribution after morphing the $x$ -axis (left) then the $y$ -axis (right).