[论文解读] Informative Gaussian Scale Mixture Priors for Bayesian Neural Networks.
本文提出了一种用于贝叶斯神经网络的有信息高斯尺度混合先验，通过解释方差比例（PVE）编码了两种关键类型的领域知识：特征稀疏性和信噪比。通过联合建模局部尺度参数以反映特征相关性，并根据PVE校准全局尺度，该方法在基准数据集和遗传学数据集上提升了预测准确性。
Encoding domain knowledge into the prior over the high-dimensional weight space is challenging in Bayesian neural networks. Two types of domain knowledge are commonly available in scientific applications: 1. feature sparsity (number of relevant features); 2. signal-to-noise ratio, quantified, for instance, as the proportion of variance explained (PVE). We show both types of domain knowledge can be encoded into the widely used Gaussian scale mixture priors with Automatic Relevance Determination. Specifically, we propose a new joint prior over the local (i.e., feature-specific) scale parameters to encode the knowledge about feature sparsity, and an algorithm to determine the global scale parameter (shared by all features) according to the PVE. Empirically, we show that the proposed informative prior improves prediction accuracy on publicly available datasets and in a genetics application.
研究动机与目标
- 为解决在贝叶斯神经网络的高维权重先验中整合领域知识的挑战。
- 将特征稀疏性——即相关特征的数量——编码到网络权重的先验分布中。
- 将信噪比（以解释方差比例PVE量化）整合到先验结构中。
- 提出一种基于PVE的全局尺度参数设置的系统性方法，以改善模型校准。
- 通过实证验证，所提出的先验在多样化数据集上可提升预测性能。
提出的方法
- 提出一种对局部尺度参数的联合先验分布，以编码特征稀疏性，实现具有领域知识结构的自动相关性确定。
- 提出一种算法，根据期望的解释方差比例（PVE）来设置全局尺度参数，将先验方差与信号强度关联。
- 使用具有自动相关性确定（ARD）的高斯尺度混合先验，允许对特征特定的尺度进行学习，同时保持计算上的可处理性。
- 采用分层贝叶斯框架，其中局部尺度反映特征相关性，全局尺度反映整体信号强度。
- 通过从PVE目标导出的闭式近似方法校准全局尺度，确保与经验信号-噪声期望的一致性。
- 将在贝叶斯神经网络训练中应用所得先验，并使用标准指标评估预测性能。
实验结果
研究问题
- RQ1能否通过高斯尺度混合先验有效将特征稀疏性编码到贝叶斯神经网络权重的先验分布中？
- RQ2如何系统性地将解释方差比例（PVE）整合到贝叶斯神经网络先验的全局尺度参数中？
- RQ3与标准非信息先验相比，所提出的有信息先验是否能在真实世界应用中提升预测准确性？
- RQ4联合建模局部与全局尺度参数是否能同时增强贝叶斯神经网络的特征选择与预测性能？
主要发现
- 与标准非信息先验相比，所提出的有信息先验在公开可用的基准数据集上提升了预测准确性。
- 该方法通过在局部尺度参数上施加结构化的联合先验，成功编码了特征稀疏性，实现了基于领域知识的自动相关性确定。
- 基于PVE设置全局尺度参数的算法确保了与数据中预期信号强度的更好对齐。
- 实证结果表明，在真实世界的遗传学应用中性能持续提升，验证了该方法在科学领域的实用性。
- 将领域知识整合到先验中，可带来更可靠且校准良好的贝叶斯神经网络预测结果。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。