[论文解读] Exact priors of finite neural networks.

Jacob A. Zavatone-Veth, Cengiz Pehlevan|arXiv (Cornell University)|Apr 23, 2021

Adversarial Robustness in Machine Learning被引用 11

一句话总结

本文推导出有限贝叶斯神经网络输出先验的精确解析表达式，表明深度线性网络的输出先验可用梅杰G函数表示，而ReLU网络则产生对应于不同激活单元数量的线性网络先验的混合。这些结果统一了人们对有限网络中尾部行为和大宽度极限的先前理解。

ABSTRACT

Bayesian neural networks are theoretically well-understood only in the infinite-width limit, where Gaussian priors over network weights yield Gaussian priors over network outputs. Recent work has suggested that finite Bayesian networks may outperform their infinite counterparts, but their non-Gaussian output priors have been characterized only though perturbative approaches. Here, we derive exact solutions for the output priors for individual input examples of a class of finite fully-connected feedforward Bayesian neural networks. For deep linear networks, the prior has a simple expression in terms of the Meijer $G$-function. The prior of a finite ReLU network is a mixture of the priors of linear networks of smaller widths, corresponding to different numbers of active units in each layer. Our results unify previous descriptions of finite network priors in terms of their tail decay and large-width behavior.

研究动机与目标

• 推导有限全连接前馈贝叶斯神经网络输出先验分布的精确、非微扰表达式。
• 使用特殊函数以闭式表达深度线性网络的输出先验。
• 表明ReLU网络的输出先验是基于各层激活单元配置的较窄线性网络先验的混合。
• 将先前对有限网络先验的零散描述统一为尾部衰减和渐近行为的框架。

提出的方法

• 使用积分变换和梅杰G函数的性质，推导有限深度线性网络的精确输出先验分布。
• 通过条件化每层中激活神经元的数量，将ReLU网络建模为线性子网络的混合。
• 利用全概率定律，将整体输出先准备为这些子网络先验的加权和。
• 利用网络的层次结构，计算单个输入输出的边缘分布。
• 应用特殊函数和随机过程理论的结果，获得闭式解。
• 验证所推导先验与大宽度极限下已知渐近行为的一致性。

实验结果

研究问题

• RQ1 有限深度线性贝叶斯神经网络的输出先验的确切形式是什么？
• RQ2 有限ReLU网络的输出先验如何在不同激活神经元配置下分解？
• RQ3 有限ReLU网络的输出先延能否表示为较窄线性网络先验的混合？
• RQ4 有限网络先验的尾部行为与无限宽度极限下的行为相比如何？
• RQ5 所推导的精确解是否统一了先前对有限网络先验的微扰描述？

主要发现

• 深度线性贝叶斯神经网络的输出先验可精确表示为梅杰G函数。
• 对于ReLU网络，输出先验是宽度减小的线性网络先验的混合，其中混合权重取决于每层中激活单元的数量。
• 所推导的先验正确再现了贝叶斯神经网络在大宽度极限下的已知渐近行为。
• 精确解统一并推广了先前关于有限贝叶斯网络中尾部衰减与尺度行为的微扰结果。
• 该框架为理解有限贝叶斯神经网络的归纳偏置提供了非微扰基础。