[论文解读] Turbo-Sim: a generalised generative model with a physical latent space

G. Quétant, Mariia Drozdova+3 more|arXiv (Cornell University)|Dec 20, 2021

Chaos-based Image/Signal Encryption被引用 10

一句话总结

Turbo-Sim 提出了一种广义的生成自编码器框架，通过信息论原理最大化数据与潜在空间之间的互信息，实现了数学上可解释的训练损失和灵活的架构选择。即使没有显式的物理约束，其在生成强子对撞机物理可观测量和重建底层物理对象方面也优于最先进方法 OTUS。

ABSTRACT

We present Turbo-Sim, a generalised autoencoder framework derived from principles of information theory that can be used as a generative model. By maximising the mutual information between the input and the output of both the encoder and the decoder, we are able to rediscover the loss terms usually found in adversarial autoencoders and generative adversarial networks, as well as various more sophisticated related models. Our generalised framework makes these models mathematically interpretable and allows for a diversity of new ones by setting the weight of each loss term separately. The framework is also independent of the intrinsic architecture of the encoder and the decoder thus leaving a wide choice for the building blocks of the whole network. We apply Turbo-Sim to a collider physics generation problem: the transformation of the properties of several particles from a theory space, right after the collision, to an observation space, right after the detection in an experiment.

研究动机与目标

• 通过泛化对抗自编码器和 GAN，开发一种统一的、数学上可解释的粒子物理生成建模框架。
• 通过将损失设计与网络结构解耦，实现基于自编码器的生成模型中灵活的架构选择。
• 通过学习从理论空间（潜在）到观测空间（数据）的映射，改进对撞机物理事件的生成，而无需依赖蒙特卡洛模拟。
• 评估模型从生成数据中重建物理量（如顶夸克和 W 玻色子质量）的能力。
• 探索模型在去卷积任务中的潜力，即从探测器观测数据中推断潜在物理参数。

提出的方法

• 该框架使用变分推断最大化输入数据 X 与潜在变量 Z 之间互信息 I(X;Z) 的下界。
• 采用两个训练方向——正向（X → Z）和反向（Z → X）——以确保伪可逆性，并改善生成与推理的学习效果。
• 互信息下界被分解为类似于 AAE 和 GAN 的项，包括对抗损失和重建损失，通过超参数 α 调整权重。
• 编码器 qϕ(z|x) 和解码器 pθ(x|z) 实现为全连接神经网络，并采用判别器进行 WGAN 风格的训练。
• 通过在输入中引入加法噪声引入随机性，尽管未来工作可能采用类似 EigenGAN 的逐层噪声以获得更好控制。
• 模型在对撞机事件数据上端到端训练，损失组件被优化以重建如不变质量等物理可观测量。

实验结果

研究问题

• RQ1 能否从互信息最大化中推导出统一的生成模型，从而涵盖并解释现有的自编码器与 GAN 框架？
• RQ2 Turbo-Sim 在生成逼真对撞机物理事件方面与最先进模型（如 OTUS）相比表现如何？
• RQ3 在未施加显式物理约束的条件下，Turbo-Sim 在多大程度上能重建底层物理对象（如顶夸克、W 玻色子）？
• RQ4 在正向和反向两个方向上对称训练是否能提升模型在生成与去卷积任务中的能力？
• RQ5 仅使用简单的全连接架构和基础噪声注入，能否在高能物理中实现与更复杂模型相当的性能？

主要发现

• Turbo-Sim 在 X 空间（观测空间）中生成逼真可观测量方面优于 OTUS，主导喷射子的 z-动量的 Kolmogorov-Smirnov 距离为 2.89，而 OTUS 为 3.78。
• 该模型在顶夸克对质量上的 KS 距离为 2.97，显著优于 OTUS 的 15.8，表明其在重建高阶物理对象方面表现更优。
• 尽管未强制施加动量守恒或质量不变性等物理约束，Turbo-Sim 仍隐式学习到这些关联，表现为对 W 玻色子和顶夸克质量的准确重建。
• 该模型在 X 空间（观测空间）表现出色，这正是生成建模的主要目标；而 OTUS 在 Z 空间（潜在空间）表现更优。
• 由于其对称架构，Turbo-Sim 在去卷积任务中展现出潜力，尽管当前在 Z → X 推断方面的性能仍低于 OTUS，可能归因于观测数据更高的随机性。
• 未来通过采用更具表现力的架构和逐层噪声注入（如 EigenGAN 风格）有望缩小在生成与推理两方面的性能差距。