[論文レビュー] Event Generation and Statistical Sampling for Physics with Deep Generative Models and a Density Information Buffer

Sydney Otten, S. Caron+7 more|arXiv (Cornell University)|Jan 3, 2019

Computational Physics and Python Applications被引用数 38

ひとこと要約

この論文は、深層生成モデルを用いて物理シミュレーションのイベント生成とイベント頻度の両方を学習し、サンプリング精度を向上させる密度情報バッファを導入する。データ駆動型事前分布を用いるB-VAEがMC分布と最もよく一致し、顕著な速度向上を提供する。

ABSTRACT

We present a study for the generation of events from a physical process with\ndeep generative models. The simulation of physical processes requires not only\nthe production of physical events, but also to ensure these events occur with\nthe correct frequencies. We investigate the feasibility of learning the event\ngeneration and the frequency of occurrence with Generative Adversarial Networks\n(GANs) and Variational Autoencoders (VAEs) to produce events like Monte Carlo\ngenerators. We study three processes: a simple two-body decay, the processes\n$e^+e^-\\to Z \\to l^+l^-$ and $p p \\to t\\bar{t} $ including the decay of the top\nquarks and a simulation of the detector response. We find that the tested GAN\narchitectures and the standard VAE are not able to learn the distributions\nprecisely. By buffering density information of encoded Monte Carlo events given\nthe encoder of a VAE we are able to construct a prior for the sampling of new\nevents from the decoder that yields distributions that are in very good\nagreement with real Monte Carlo events and are generated several orders of\nmagnitude faster. Applications of this work include generic density estimation\nand sampling, targeted event generation via a principal component analysis of\nencoded ground truth data, anomaly detection and more efficient importance\nsampling, e.g. for the phase space integration of matrix elements in quantum\nfield theories.\n

研究の動機と目的

• 粒子物理学におけるモンテカルロイベント生成を加速するための深層生成モデルの利用を動機づける。
• 高次元の物理イベントを生成するための明示的な確率モデル（GANsとVAEs）の開発と評価。
• 潜在空間密度をより適切に捉えるための密度情報バッファを備えたB-VAEの導入。
• 検出器応答を含む、データ次元数と複雑さが増大する状況でのモデル性能の評価。
• 密度推定、異常検知、および位相空間サンプリングの改善などの実用的な応用を提案。

提案手法

• JS-GAN、WGAN、WGAN-GP、LSGAN、MMDGANを含む複数のGANアーキテクチャとVAEsを、複数の難易度が段階的に上がる三つのデータセットで比較する。
• 再現損失を大きく重みづけ、エンコードされたグラウンド truth データに基づく潜在コード密度推定を持つVAEであるB-VAEを導入。
• トレーニングデータからのエンコードを用いてサンプリングを改善するための密度情報バッファ（zの経験的事前分布）を構築。
• zの密度推定手法（KDE、Gaussian Mixture Models、二段階VAE）と事前分布を広げるためのスミッジファクターアプローチを検討。
• 2D観測ヒストグラムに基づく適指標と、MCデータと比較する過剰適合に敏感な指標を定義。
• 3つのデータセットでモデルを訓練・評価：10Dのトイモデル、16Dのe+e- -> Z -> l+l-イベント、および検出器シミュレーションを含む26Dのpp -> ttbarイベント。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは運動学的分布と物理イベントの頻度の両方を再現できるか？
• RQ2 潜在空間のデータ駆動型事前分布（密度情報バッファ）は、標準的な事前分布よりサンプリング忠実度を改善するか？
• RQ3 どのアーキテクチャ（GANs、VAEs、B-VAE）が、イベント次元数の増加にもかかわらずMC分布を最もよく再現するか？
• RQ4 潜在空間の密度推定を、改良されたサンプリングおよび潜在異常検知の可能性のためにどう活用できるか？
• RQ5 従来の尤度以外で、生成サンプルをMCデータと比較する実用的な指標は何か？

主な発見

• 密度情報を持つ事前分布を用いるB-VAEが、 toy、Zボソン、およびttbarデータセット全体でMC分布を最もよく再現する。
• 標準的なVAEsやデフォルトのハイパーパラメータを持つ多くのGANは、高次元の物理プロセスのモデリングに苦戦するが、B-VAEはこの制限を部分的に克服する。
• 密度情報バッファ（エンコードされた訓練データからのz密度）を用いると、サンプラーがMCイベントと非常に良く一致する分布を生成し、顕著な高速化を実現する（数桁の高速化）。
• KDE、GMM、および段階的VAEアプローチの検討は、潜在空間密度を近似する複数の実現可能な方法を示し、バッファアプローチは実用的な利点を提供する。
• エンコードされたグラウンド truthデータのPCAは、ターゲットイベント生成と生成プロセスの制御の可能性を可能にする。
• 議論された応用には、異常検知と量子場理論における位相空間積分の重要度サンプリングの改善が含まれる。