[论文解读] Attentive Neural Processes

Hyunjik Kim, Andriy Mnih+6 more|arXiv (Cornell University)|Jan 17, 2019

Adversarial Robustness in Machine Learning参考文献 30被引用 27

一句话总结

本文提出注意力神经过程（Attentive Neural Processes, ANPs），作为神经过程（Neural Processes, NPs）的改进版本，通过使用可微注意力机制提升上下文表征学习能力，从而在观测到的上下文点上实现更精确的预测。通过允许目标输入关注相关上下文点，ANPs 显著减少了欠拟合现象，训练速度更快，并且能够建模比标准 NPs 更广泛的函数类型。

ABSTRACT

Neural Processes (NPs) (Garnelo et al 2018a;b) approach regression by learning to map a context set of observed input-output pairs to a distribution over regression functions. Each function models the distribution of the output given an input, conditioned on the context. NPs have the benefit of fitting observed data efficiently with linear complexity in the number of context input-output pairs, and can learn a wide family of conditional distributions; they learn predictive distributions conditioned on context sets of arbitrary size. Nonetheless, we show that NPs suffer a fundamental drawback of underfitting, giving inaccurate predictions at the inputs of the observed data they condition on. We address this issue by incorporating attention into NPs, allowing each input location to attend to the relevant context points for the prediction. We show that this greatly improves the accuracy of predictions, results in noticeably faster training, and expands the range of functions that can be modelled.

研究动机与目标

• 解决神经过程（NPs）中的根本性欠拟合问题，即由于上下文表征的均值聚合导致在上下文点上的预测不准确。
• 通过实现对相关上下文点的动态、基于注意力的加权，提升回归任务中预测分布的表达能力和准确性。
• 在保持或提升 1D 和 2D 回归基准性能的同时，加快训练速度。
• 通过更灵活的上下文表征学习，扩展 NPs 可建模的函数范围。

提出的方法

• 在解码器中引入注意力机制，使每个目标输入能够通过查询-键-点积注意力机制关注相关上下文点。
• 通过在上下文表征上应用注意力同时保持全局上下文编码，保留上下文集合的排列不变性。
• 用可学习的注意力机制替代 NP 编码器中固定的均值聚合方式，根据目标与上下文点的相关性动态加权上下文点。
• 使用多头点积注意力机制建模上下文与目标输入之间的复杂依赖关系，提升表征质量。
• 在保持 NP 的排列不变性归纳偏置（即上下文和目标集合的排列不变性）的同时，实现动态、输入相关的注意力机制。
• 采用标准 NP 解码器架构，但将其同时基于目标输入和经过注意力加权的上下文表征进行条件化，从而实现更精确的预测分布。

实验结果

研究问题

• RQ1 注意力机制能否缓解神经过程中的欠拟合问题，特别是在观测到的上下文点上？
• RQ2 在 NPs 中引入注意力机制是否能带来更快的收敛速度和更高的训练效率？
• RQ3 与标准 NPs 相比，注意力机制在多大程度上扩展了可建模函数的范围？
• RQ4 在 1D 和 2D 回归任务中，ANPs 的预测准确性和不确定性估计性能与 NPs 相比如何？

主要发现

• 与标准 NPs 相比，ANPs 显著降低了在上下文点上的预测误差，尤其在 1D 曲线拟合和 2D 图像重建任务中表现更优。
• ANPs 在训练迭代次数和实际运行时间上均实现了更快的收敛速度，表明其优化动态更优。
• 注意力机制使 ANPs 能够建模更广泛的函数族，包括标准 NPs 难以处理的具有复杂局部依赖关系的函数。
• ANPs 展现出更优的预测不确定性估计，其在上下文集和目标集上的负对数似然（NLL）均低于 NPs。
• 模型能够关注相关上下文点的能力，使得重建结果更加连贯和准确，例如在人脸图像补全任务中表现突出。