[论文解读] Message Passing Neural Processes

Ben Day, Cătălina Cangea+2 more|arXiv (Cornell University)|Sep 29, 2020

Neural dynamics and brain function参考文献 32被引用 6

一句话总结

本文提出消息传递神经过程（MPNPs），这是一种新型神经过程模型，通过消息传递机制引入关系归纳偏置，以建模具有结构化数据的随机过程。通过利用基于图的消息传递来编码邻域关系，MPNPs在低数据设置下实现了卓越的泛化性能，在细胞自动机、Cora-Branched以及少样本学习基准测试中均优于标准神经过程（NPs）和图神经网络（GNNs），尤其在任意标签分配和基于密度的规则变化场景下表现突出。

ABSTRACT

Neural Processes (NPs) are powerful and flexible models able to incorporate uncertainty when representing stochastic processes, while maintaining a linear time complexity. However, NPs produce a latent description by aggregating independent representations of context points and lack the ability to exploit relational information present in many datasets. This renders NPs ineffective in settings where the stochastic process is primarily governed by neighbourhood rules, such as cellular automata (CA), and limits performance for any task where relational information remains unused. We address this shortcoming by introducing Message Passing Neural Processes (MPNPs), the first class of NPs that explicitly makes use of relational structure within the model. Our evaluation shows that MPNPs thrive at lower sampling rates, on existing benchmarks and newly-proposed CA and Cora-Branched tasks. We further report strong generalisation over density-based CA rule-sets and significant gains in challenging arbitrary-labelling and few-shot learning setups.

研究动机与目标

• 为解决标准神经过程（NPs）在缺乏利用数据中关系结构，尤其是在受邻域规则支配的场景下表现不足的问题。
• 开发一种显式利用消息传递机制建模关系归纳偏置的神经过程变体，以提升在低数据和少样本场景下的泛化能力。
• 在具有挑战性的基准测试上评估该模型，包括新提出的细胞自动机（CA）规则集和具有任意标签分配与少样本设置的Cora-Branched任务。
• 证明在关系结构至关重要的场景下，如基于密度的规则分布和非标准标签方案中，MPNPs优于标准NPs和归纳式GNNs。

提出的方法

• MPNPs通过用基于图的消息传递机制替代标准神经过程中的全局上下文聚合，扩展了标准神经过程，以在关系结构上传播信息。
• 该模型使用图神经网络（GNN）编码器处理节点特征和邻接信息，在将表示传递给神经过程的推理与生成模块前，学习关系表示。
• 消息传递编码器通过迭代邻域聚合，聚合邻居特征以计算节点表示，使模型能够捕捉局部与全局关系依赖。
• 潜在变量通过在上下文集上进行近似变分推断计算，后验网络以消息传递后的表示为条件。
• 解码器利用潜在变量和目标节点特征生成预测结果，并提供不确定性估计，同时保持线性时间复杂度。
• 在细胞自动机任务中，模型采用邻域状态的一维独热编码和最大池化聚合器来表示规则条件，从而在解码器中实现确定性规则应用。

实验结果

研究问题

• RQ1 神经过程模型能否有效利用关系归纳偏置，以提升在随机过程建模中的泛化能力？
• RQ2 在具有结构化数据的少样本与低数据设置下，MPNP相较于标准NPs和归纳式GNNs的表现如何？
• RQ3 MPNPs能否在如基于密度分布的细胞自动机复杂规则集上实现有效泛化？
• RQ4 在标准GNN因标签排列不变性而失效的任意标签方案下，MPNP是否仍能保持强性能？
• RQ5 MPNPs能否在少样本节点分类任务（如源自Cora数据集的任务）中达到最先进性能？

主要发现

• 在细胞自动机基准测试中，MPNPs显著优于标准神经过程，尤其在低采样率下，标准NPs已无法实现泛化。
• 在新提出的Cora-Branched数据集上，MPNPs在任意标签分配和少样本学习设置中均取得显著提升，表现出对标签排列和数据稀缺的鲁棒性。
• MPNPs能有效泛化于基于密度的CA规则集，而基线模型在这些场景下无法实现优于随机猜测的性能。
• 该模型在引入关系归纳偏置的同时保持线性时间复杂度，从而实现了在结构化数据上可扩展的不确定性感知预测。
• 实验表明，MPNPs在几何与生物基准测试中表现优异，证实了关系归纳偏置在随机过程建模中的有效性。
• 消融研究证实，消息传递对性能提升至关重要，若移除消息传递机制，MPNP将退化为标准NPs，泛化能力显著下降。