[论文解读] Exact posterior distributions of wide Bayesian neural networks
本文证明，在较弱的似然性假设下，宽泛的贝叶斯神经网络（BNN）的精确后验分布会弱收敛于先验的高斯过程（GP）极限所诱导的后验。通过严格的理论分析和在小数据集上的精确拒绝采样，本文建立了有限宽度BNN后验与它们的GP后验极限之间的渐近等价性，解决了BNN泛化能力中长期存在的理论空白。
Recent work has shown that the prior over functions induced by a deep Bayesian neural network (BNN) behaves as a Gaussian process (GP) as the width of all layers becomes large. However, many BNN applications are concerned with the BNN function space posterior. While some empirical evidence of the posterior convergence was provided in the original works of Neal (1996) and Matthews et al. (2018), it is limited to small datasets or architectures due to the notorious difficulty of obtaining and verifying exactness of BNN posterior approximations. We provide the missing theoretical proof that the exact BNN posterior converges (weakly) to the one induced by the GP limit of the prior. For empirical validation, we show how to generate exact samples from a finite BNN on a small dataset via rejection sampling.
研究动机与目标
- 为理解贝叶斯神经网络（BNN）后验在网络宽度增加时的渐近行为，填补理论空白。
- 证明宽泛BNN的精确函数空间后验收敛于由先验的高斯过程（GP）极限所诱导的后验。
- 为后验收敛提供严格的理论证明，补充先前的实验观察结果。
- 通过拒绝采样在小数据集上实现精确后验采样，以实证验证理论结论。
提出的方法
- 使用函数空间中的弱收敛，对宽泛BNN的后验分布进行理论分析。
- 将先前工作（Matthews et al., 2018; Neal, 1996）中的GP极限框架适配至后验设置。
- 假设似然函数仅依赖于网络输出，且连续有界，以确保在不同宽度下保持渐近不变性。
- 使用拒绝采样从有限宽度BNN在小数据集上生成精确后验样本，以实现实证验证。
- 应用Slutsky引理和依概率收敛，建立在固定输入集下后验的弱收敛性。
- 通过归纳法证明网络激活的高阶矩（至八阶）有界，确保在极限中中心极限定理类论证的有效性。
实验结果
研究问题
- RQ1宽泛贝叶斯神经网络的精确后验是否弱收敛于由先验的高斯过程极限所诱导的后验？
- RQ2该后验收敛在似然函数的何种条件下成立？
- RQ3能否从有限宽度BNN中生成精确后验样本，以实证验证理论收敛性？
- RQ4固定输入集与有界似然如何影响后验分布的渐近行为？
- RQ5何种技术条件可确保后验收敛证明中中心极限定理类论证的有效性？
主要发现
- 当网络宽度趋于无穷时，宽泛BNN的精确后验分布弱收敛于GP所诱导的后验。
- 该收敛性在似然函数仅依赖于网络输出且连续有界的假设下成立，确保了在不同宽度下的不变性。
- 该证明表明，后验收敛源于先验收敛与似然结构，将先前从先验到后验行为的结论进行了扩展。
- 通过拒绝采样在小数据集上实现精确后验采样是可行的，从而支持对理论收敛性的实证验证。
- 网络激活的高阶矩（至八阶）有界性通过归纳法被证明，支持了渐近论证的有效性。
- 即使固定数量的权重被设为非i.i.d.值（例如通过ε-J集合），该收敛结果仍成立，且在较弱条件下保持渐近行为。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。