[论文解读] Uncertainties associated with GAN-generated datasets in high energy physics

K. Matchev, Alexander Roman+1 more|arXiv (Cornell University)|Feb 15, 2020

Generative Adversarial Networks and Image Synthesis参考文献 64被引用 43

一句话总结

本文主张，由于固有的信息论限制，生成对抗网络（GAN）在高能物理模拟中无法超越原始训练数据所能达到的统计精度。即使使用大规模的 GAN 生成数据集，原始训练样本有限所带来的基本不确定性依然存在，因此 GAN 不适合用于对统计精度要求极高的敏感分析中以替代蒙特卡洛模拟。

ABSTRACT

Recently, Generative Adversarial Networks (GANs) trained on samples of traditionally simulated collider events have been proposed as a way of generating larger simulated datasets at a reduced computational cost. In this paper we point out that data generated by a GAN cannot statistically be better than the data it was trained on, and critically examine the applicability of GANs in various situations, including a) for replacing the entire Monte Carlo pipeline or parts of it, and b) to produce datasets for usage in highly sensitive analyses or sub-optimal ones. We present our arguments using information theoretic demonstrations, a toy example, as well as in the form of a formal statement, and identify some potential valid uses of GANs in collider simulations.

研究动机与目标

• 挑战一种假设，即 GAN 生成的数据集可以提升高能物理分析中的统计敏感度。
• 证明 GAN 无法克服由有限训练样本引入的根本性统计不确定性。
• 阐明 GAN 在对撞机模拟流程中仍可被有效应用的具体条件。
• 调和与先前研究之间的明显矛盾，这些研究报告了在 HEP 中使用 GAN 的积极成果。

提出的方法

• 形式化一个统计陈述（陈述 1）：GAN 增广数据无法在模型区分能力上超越原始训练数据。
• 利用信息论——特别是互信息、Kullback–Leibler 散度和费舍尔信息——证明任何分析都无法从 GAN 数据中提取比原始训练样本更多的信息。
• 构建一个以正态分布为原型的简化模型，说明 GAN 如何继承并传播训练数据的统计不确定性。
• 分析随着样本规模增加，GAN 生成数据的样本均值和标准差的行为，表明其收敛于训练数据的统计特性。
• 引入“GAN 放大”概念，探讨 GAN 是否可用于人为扩大数据集规模，超过原始训练集。
• 使用蒙特卡洛伪实验比较真实模拟数据与 GAN 生成数据的统计精度，结合定量的不确定性传播。

实验结果

研究问题

• RQ1 GAN 生成的数据集在模型区分能力方面能否在统计上超越原始训练数据？
• RQ2 当在有限样本上进行训练时，GAN 在多大程度上可以提升高能物理分析的统计精度？
• RQ3 为何一些先前的研究报告了 GAN 在 HEP 中应用的成功，尽管存在信息增益的理论限制？
• RQ4 在哪些特定场景下，GAN 仍可在对撞机模拟中被有效应用，而不会损害统计有效性？

主要发现

• 由于信息论约束，GAN 生成的数据集无法在模型区分能力的统计精度上超越原始训练数据所能达到的水平。
• 即使生成事件数量趋于无穷，GAN 生成数据的样本均值标准差也会渐近收敛至训练样本的不确定性，而非趋近于零。
• 在简化模型中，GAN 生成数据的渐近均值收敛于训练数据的样本均值，而非真实底层均值，表明 GAN 继承了训练集的统计偏差。
• 基于 GAN 的分析中的总不确定性是训练样本统计不确定性与生成数据抽样不确定性的平方和根，无法低于前者。
• 先前研究中 GAN 表现成功的原因在于，它们通常将 GAN 用于探测器模拟或迁移学习等任务，此时数据保真度或速度比统计精度更为关键。
• GAN 的有效应用场景包括替代蒙特卡洛流程中的部分模块（如探测器模拟）、迁移学习，以及在非敏感分析中的数据增强，此时统计局限性不会影响结果的有效性。