[论文解读] Exchangeable Neural ODE for Set Modeling

Li Yang, Haidong Yi+3 more|arXiv (Cornell University)|Aug 6, 2020

Generative Adversarial Networks and Image Synthesis参考文献 20被引用 10

一句话总结

该论文提出了一种可交换神经常微分方程（ExNODE），一种基于流的模块，用于使用神经常微分方程（NODEs）对集合进行建模，通过可逆的、置换等变的变换实现判别式和生成式集合建模。ExNODE在点云分类和密度估计任务中达到最先进性能，同时通过基于变分自编码器（VAE）的框架结合潜在常微分方程，实现连续时间的时序集合建模，支持插值与外推。

ABSTRACT

Reasoning over an instance composed of a set of vectors, like a point cloud, requires that one accounts for intra-set dependent features among elements. However, since such instances are unordered, the elements' features should remain unchanged when the input's order is permuted. This property, permutation equivariance, is a challenging constraint for most neural architectures. While recent work has proposed global pooling and attention-based solutions, these may be limited in the way that intradependencies are captured in practice. In this work we propose a more general formulation to achieve permutation equivariance through ordinary differential equations (ODE). Our proposed module, Exchangeable Neural ODE (ExNODE), can be seamlessly applied for both discriminative and generative tasks. We also extend set modeling in the temporal dimension and propose a VAE based model for temporal set modeling. Extensive experiments demonstrate the efficacy of our method over strong baselines.

研究动机与目标

• 为解决在无序集合（如点云）中建模内部依赖关系的挑战，同时保持置换等变性。
• 开发一种具有可 tractable（可处理）可交换似然性的基于流的生成模型，以克服独立或基于池化的似然估计方法的局限性。
• 通过使用带有潜在常微分方程的变分自编码器（VAE）学习集合随时间演化的连续时间动态，将集合建模扩展到时序维度。
• 在判别式（点云分类）和生成式（密度估计）集合建模任务中均实现最先进性能。

提出的方法

• ExNODE 使用置换等变神经网络参数化常微分方程的向量场 f(x(t), t)，确保解在输入置换下保持等变性。
• 通过黑箱常微分方程求解器求解常微分方程，且由于NODE框架保证了可逆性，可通过正规化流中的变量变换公式实现似然计算。
• 在生成建模中，ExNODE 作为正规化流中的等变流变换使用，允许在可交换分布下实现精确的似然估计。
• 在时序集合建模中，提出一种VAE框架，其中潜在空间通过常微分方程演化，实现未见时间步的插值与外推。
• 模型通过最大似然法训练用于生成任务，通过交叉熵损失训练用于判别任务，且架构组件设计注重参数效率。
• 该框架支持空间与时序集合建模，实验基于ModelNet40、SpatialMNIST和合成时序集合。

实验结果

研究问题

• RQ1 基于神经常微分方程的架构能否在建模无序集合中复杂内部依赖关系的同时，保持置换等变性？
• RQ2 如何构建可逆的、可交换的流，以实现在基于集合的生成模型中可处理的似然估计？
• RQ3 能否在潜在空间中有效建模连续时间动态，以实现在时序集合演化中的平滑插值与外推？
• RQ4 ExNODE 是否在判别式与生成式集合建模基准中均优于现有方法？

主要发现

• 在ModelNet40上，ExNODE在100个点时达到85.97% ± 0.27%的测试准确率，在1000个点时达到89.32% ± 0.40%，优于Set Transformer和DeepSets。
• 在密度估计任务中，ExNODE在ModelNet40的Airplanes类别上实现每个点的对数似然为5.13，在Chairs类别上为3.59，优于FlowScan和NS等先前方法。
• 在SpatialMNIST上，ExNODE实现PPLL为-5.21，优于此前最佳的-5.26，表明其具有强大的密度估计能力。
• 时序VAE模型实现了时间步之间的平滑插值与外推，生成样本保持结构一致性和时序连续性。
• ExNODE使用的参数量约为Set Transformer的一半，同时实现更优或相当的性能，表明其具有高参数效率。
• 模型学习到有意义的潜在空间，通过在潜在码上进行条件生成与插值，可生成合理中间集合状态。