[论文解读] Expressive Priors in Bayesian Neural Networks: Kernel Combinations and Periodic Functions

Tim Pearce, Russell Tsuchida+3 more|arXiv (Cornell University)|May 15, 2019

Gaussian Processes and Bayesian Inference参考文献 33被引用 14

一句话总结

本文通过结合激活函数与网络结构组件，提出一种在贝叶斯神经网络（BNNs）中设计表达性先验的方法，以模仿高斯过程（Gaussian processes）中的核函数组合。结果表明，将周期性BNN与tanh BNN相乘，可实现对局部周期性函数的精确建模，在时间序列和强化学习任务中相比标准BNN显著提升性能。

ABSTRACT

A simple, flexible approach to creating expressive priors in Gaussian process (GP) models makes new kernels from a combination of basic kernels, e.g. summing a periodic and linear kernel can capture seasonal variation with a long term trend. Despite a well-studied link between GPs and Bayesian neural networks (BNNs), the BNN analogue of this has not yet been explored. This paper derives BNN architectures mirroring such kernel combinations. Furthermore, it shows how BNNs can produce periodic kernels, which are often useful in this context. These ideas provide a principled approach to designing BNNs that incorporate prior knowledge about a function. We showcase the practical value of these ideas with illustrative experiments in supervised and reinforcement learning settings.

研究动机与目标

• 为解决贝叶斯神经网络（BNNs）中先验设计缺乏灵活性的问题，这类网络通常依赖默认架构，未融入领域特定知识。
• 通过将高斯过程（GP）核函数工程的思想迁移至BNN架构设计，弥合GP核函数组合与BNN架构设计之间的鸿沟。
• 提出一种系统化方法，构建能够表达复杂函数特性（如周期性与趋势）的BNN，其设计基于先验知识。
• 在真实学习任务中展示此类结构化先验的实际优势，包括监督式时间序列预测与强化学习任务。

提出的方法

• 本文推导出与高斯过程中使用的核函数组合（如线性、周期性、RBF核的加法或乘法组合）相对应的BNN架构。
• 提出一种新型BNN组件，通过将余弦/正弦输入映射与ReLU网络结合，以建模周期性函数，从而模拟高斯过程中的周期性核函数。
• 关键创新在于采用乘法架构：将一个周期性BNN与一个具有长长度尺度的独立tanh BNN相乘，以建模局部周期性行为。
• 该方法利用无限宽BNN与高斯过程之间的理论等价性，确保所得先验函数具备期望的核函数诱导特性。
• 通过贝叶斯集成实现可扩展的贝叶斯推断，使模型能够在包含数十万条经验转移的大规模数据集上进行训练。
• 该架构设计与推理方法无关，因此可广泛适用于不同学习框架。

实验结果

研究问题

• RQ1 是否可以设计出能够表达与高斯过程核函数组合相同表达性先验函数的BNN架构？
• RQ2 如何在BNN中有效建模周期性函数，而不仅仅是简单使用余弦激活函数？
• RQ3 在学习任务中，引入结构化先验（如周期性与趋势分量）是否能提升泛化能力与样本效率？
• RQ4 在已知函数特性的任务（如时间序列或控制任务）中，此类结构化BNN先验是否能超越标准BNN？

主要发现

• 在摆杆控制任务中，Periodic × Tanh BNN架构显著优于标准ReLU BNN与基础Periodic BNN，实现了更快的学习速度与更高的最终累积奖励。
• Q值可视化结果表明，Periodic × Tanh模型更准确地捕捉了摆杆动力学的真实局部周期性，覆盖三个完整周期。
• 仅使用Periodic BNN的模型在学习初期即出现性能停滞，表明其灵活性不足，难以完整建模系统动力学；而ReLU BNN虽学习缓慢，但最终超越了它。
• 乘法架构使BNN能够精确建模局部周期性函数，证明BNN可通过架构设计有效模拟高斯过程中的周期性核函数。
• 结果证实，通过结构化BNN设计融入先验知识可减少数据需求并提升学习效率，与‘抽象的恩惠’（blessing of abstraction）原则一致。