[论文解读] Equivariant Normalizing Flows for Point Processes and Sets

Marin Biloš, Stephan Günnemann|arXiv (Cornell University)|May 4, 2021

3D Shape Modeling and Analysis参考文献 47被引用 5

一句话总结

该论文提出 CONFET，一种基于归一化流的点过程与集合模型，利用等变连续流来建模点之间的复杂且任意的相互作用，同时保持可计算的似然度。通过学习从均匀过程到目标过程的连续、等变变换，CONFET 实现了对依赖点模式的可扩展且灵活的建模，在合成数据集和真实世界数据集上均表现出更优的性能。

ABSTRACT

A point process describes how random sets of exchangeable points are generated. The points usually influence the positions of each other via attractive and repulsive forces. To model this behavior, it is enough to transform the samples from the uniform process with a sufficiently complex equivariant function. However, learning the parameters of the resulting process is challenging since the likelihood is hard to estimate and often intractable. This leads us to our proposed model - CONFET. Based on continuous normalizing flows, it allows arbitrary interactions between points while having tractable likelihood. Experiments on various real and synthetic datasets show the improved performance of our new scalable approach.

研究动机与目标

• 为解决建模复杂、依赖的点过程的挑战，其中点通过吸引与排斥力相互影响。
• 开发一种可扩展且可微分的框架，以实现对具有任意相互作用的点过程的可计算似然度估计。
• 利用等变性与连续归一化流来建模可交换点模式，同时在排列变换下保持结构不变性。
• 在合成与真实世界点过程数据集上，相较于现有方法，提升建模的灵活性与性能。

提出的方法

• 该模型使用连续归一化流，学习从基础均匀点过程到目标点过程的连续、可逆变换。
• 通过设计使流具备等变性，确保输入点排列下的不变性，这对于建模可交换点过程至关重要。
• 变换由尊重等变性的神经网络参数化，使模型能够捕捉点之间的复杂对称相互作用。
• 由于变分公式与连续流的结构，似然度可计算，从而支持基于梯度的优化进行端到端训练。
• 模型通过最大似然估计进行训练，对数似然通过数值积分流的雅可比行列式计算。

实验结果

研究问题

• RQ1 归一化流模型是否能有效捕捉点过程中点之间的复杂、任意相互作用，同时保持可计算的似然度？
• RQ2 流架构中的等变性在建模可交换点过程时，如何提升建模性能与泛化能力？
• RQ3 连续归一化流在具有高维或不规则结构的真实世界点过程数据集上，其可扩展性如何？
• RQ4 在合成与真实数据上，CONFET 与现有模型在似然度与生成质量方面相比如何？

主要发现

• 与基线模型相比，CONFET 在合成与真实世界点过程数据集上均实现了更优的似然度与生成质量。
• 由于其等变流架构，该模型成功捕捉了点之间的复杂对称相互作用。
• 可计算的似然度支持端到端训练，并可通过最大似然估计实现可靠评估。
• 连续流的结构允许灵活建模任意点相互作用，而无需显式参数化假设。