[论文解读] Convolutional Conditional Neural Processes

Jonathan Gordon, Wessel P. Bruinsma+4 more|arXiv (Cornell University)|Oct 29, 2019

Topic Modeling参考文献 32被引用 16

一句话总结

本文提出卷积条件神经过程（CONVCNP），一种新型神经过程变体，通过卷积函数嵌入显式建模数据中的平移等变性。通过将深度集合理论扩展至函数表示，CONVCNP在时间序列、空间数据和图像补全任务中实现了最先进性能，并展现出强大的零样本泛化能力。

ABSTRACT

We introduce the Convolutional Conditional Neural Process (ConvCNP), a new member of the Neural Process family that models translation equivariance in the data. Translation equivariance is an important inductive bias for many learning problems including time series modelling, spatial data, and images. The model embeds data sets into an infinite-dimensional function space as opposed to a finite-dimensional vector space. To formalize this notion, we extend the theory of neural representations of sets to include functional representations, and demonstrate that any translation-equivariant embedding can be represented using a convolutional deep set. We evaluate ConvCNPs in several settings, demonstrating that they achieve state-of-the-art performance compared to existing NPs. We demonstrate that building in translation equivariance enables zero-shot generalization to challenging, out-of-domain tasks.

研究动机与目标

• 为解决现有神经过程模型缺乏内置平移等变性的问题，这些模型依赖数据低效地学习这种归纳偏置。
• 将集合的功能表示形式化为平移等变模型的基础，将深度集合理论扩展至无穷维空间。
• 开发一种自然编码空间和时间平移不变性的神经过程架构，以提升泛化能力和样本效率。
• 在包括合成数据和真实世界数据在内的多样化基准上评估模型，以证明其鲁棒性能和零样本迁移能力。

提出的方法

• 提出集合上平移等变函数的表示定理，将Zaheer等人（2017）的工作扩展至函数嵌入。
• 引入一种使用卷积神经网络的函数编码器，将上下文集映射到无穷维函数空间。
• 采用带可学习密度通道和正性约束的归一化卷积，以稳定训练并强制实现等变性。
• 在第一层使用可学习核，近似精确卷积核（EQ），实现在无显式网格约束下的等变性。
• 应用“循环”填充以减少边界引起的依赖性，保持大感受野下的平移等变性。
• 使用上下文-目标对的最大似然进行训练，模拟推理时的测试过程，以实现强泛化能力。

实验结果

研究问题

• RQ1 能否通过函数表示在神经过程中正式嵌入平移等变性？
• RQ2 将卷积归纳偏置引入后，对分布外任务的零样本泛化能力有何提升？
• RQ3 哪些架构组件（如密度通道、归一化、填充方式）对维持等变性和性能至关重要？
• RQ4 与现有CNPs和基于注意力的模型相比，CONVCNP在样本效率和泛化能力方面表现如何？
• RQ5 模型架构（如感受野大小）在多大程度上影响非平稳、位置相关行为的学习？

主要发现

• CONVCNP在合成时间序列、空间数据和图像补全基准上达到最先进性能，优于现有CNPs和ATTNCNP。
• 该模型在分布外任务上展现出强大的零样本泛化能力，尤其在ZSMM基准上显著优于具有大感受野的模型。
• 消融研究显示，密度通道与归一化对性能至关重要，尤其在结合正性约束时。
• 使用“循环”填充可防止模型因边界效应学习到非平稳行为，即使在大感受野下亦能保持等变性。
• 第一层学习到的核近似于精确卷积核（EQ），表明模型学习到了等价的等变表示。
• CONVCNPXL因大感受野下零填充引入的位置相关行为导致性能劣于CONVCNP，而循环填充可有效缓解此问题。