[论文解读] Equivariant Flows: Exact Likelihood Generative Learning for Symmetric Densities

Jonas Köhler, Leon Klein+1 more|arXiv (Cornell University)|Jun 3, 2020

Machine Learning in Materials Science参考文献 45被引用 51

一句话总结

本论文介绍对称性保持（等变）正则化流，用于精确似然的玻尔兹曼生成流，在对称多体系统上提高采样效率和泛化能力。

ABSTRACT

Normalizing flows are exact-likelihood generative neural networks which approximately transform samples from a simple prior distribution to samples of the probability distribution of interest. Recent work showed that such generative models can be utilized in statistical mechanics to sample equilibrium states of many-body systems in physics and chemistry. To scale and generalize these results, it is essential that the natural symmetries in the probability density -- in physics defined by the invariances of the target potential -- are built into the flow. We provide a theoretical sufficient criterion showing that the distribution generated by extit{equivariant} normalizing flows is invariant with respect to these symmetries by design. Furthermore, we propose building blocks for flows which preserve symmetries which are usually found in physical/chemical many-body particle systems. Using benchmark systems motivated from molecular physics, we demonstrate that those symmetry preserving flows can provide better generalization capabilities and sampling efficiency.

研究动机与目标

• 激发将物理对称性纳入密度估计和采样模型的需要。
• 提出一个理论准则，指出在密度生成中等变流何时能够保持目标对称性。
• 提供针对多体粒子系统的可实践、易处理的等变流构造。
• 在基准物理系统上展示相较于非等变基线的改进泛化和采样效率。

提出的方法

• 通过对 R^n 的群作用形式化对称性，并证明从 G 不变密度映射的 H-等变微分同胚会产生一个 H-不变的推前分布。
• 使用具有 H-等变向量场的连续归一化流来构建等变流，从而通过闭式计算的散度实现精确的密度变化。
• 设计一个基于势的梯度场 v(x)=∇Φ(x)，其中 Φ 是 H-不变的，以确保 v 是 H-等变的。
• 采用简单的高斯径向基函数混合实现向量场，使散度的计算可解且可精确。
• 采用精确散度的方法以避免随粒子数量指数级扩展的 Hutchinson 型估计。
• 在具有完整旋转、平移和置换对称性的对称粒子系统（DW-2，DW-4，LJ-13）上进行基准测试。

实验结果

研究问题

• RQ1 在多体系统中，如何构建正则化流以尊重目标密度的对称性？
• RQ2 在对称能量下，保持对称性的（等变）流是否比非等变流具有更好的泛化能力和更高的采样效率？
• RQ3 在等变 CNFs 中是否能高效地计算精确散度，以实现对 Boltzmann-generating 流的无偏重加权？
• RQ4 等变性对在对称势能中发现亚稳态的影响是什么？
• RQ5 在这些系统的等变流场下，DTO 与 OTD 训练范式有何比较？

主要发现

• 当 G>H 且 f 是 H-等变时，等变流保证所生成的密度对 H 不变，确保对称性被设计进模型中。
• 一种显式、易处理的实现，使用不变势的梯度场实现精确散度，训练稳定高效。
• 等变流在数据有限时具有良好泛化，并且在使用对称性数据增强时（如 DW-4 与 LJ-13）明显优于非等变流。
• 在 Boltzmann 生成设置中，等变流与目标分布具有显著重叠，并实现渐近无偏的重加权，与一些非等变配置不同。
• 实验表明等变模型发现更多的亚稳态，且更好地匹配能量景观，相较于非等变基线。