[论文解读] Learning Structural Weight Uncertainty for Sequential Decision-Making

Ruiyi Zhang, Chunyuan Li+2 more|ArXiv.org|Dec 30, 2017

Advanced Bandit Algorithms Research参考文献 29被引用 4

一句话总结

本文提出结构化Stein变分梯度下降（S2VGD），一种高效的贝叶斯神经网络推断方法，通过在Stein变分梯度下降框架内使用矩阵 variate Gaussian 先验来建模结构化权重不确定性。通过使用Householder流对MVG先验进行重参数化以降低维度，S2VGD实现了高精度、低成本的后验近似，在上下文Bandit和强化学习等序列决策任务中的探索能力显著优于标准SVG D和基线方法。

ABSTRACT

Learning probability distributions on the weights of neural networks (NNs) has recently proven beneficial in many applications. Bayesian methods, such as Stein variational gradient descent (SVGD), offer an elegant framework to reason about NN model uncertainty. However, by assuming independent Gaussian priors for the individual NN weights (as often applied), SVGD does not impose prior knowledge that there is often structural information (dependence) among weights. We propose efficient posterior learning of structural weight uncertainty, within an SVGD framework, by employing matrix variate Gaussian priors on NN parameters. We further investigate the learned structural uncertainty in sequential decision-making problems, including contextual bandits and reinforcement learning. Experiments on several synthetic and real datasets indicate the superiority of our model, compared with state-of-the-art methods.

研究动机与目标

• 为解决贝叶斯神经网络中独立Gaussian先验的局限性，后者忽略了神经网络权重之间的结构依赖关系。
• 克服直接将Stein变分梯度下降（SVGD）应用于高维矩阵 variate Gaussian 先验时的计算低效问题。
• 通过在策略网络中学习结构化不确定性，改进序列决策任务中的探索能力。
• 通过基于Householder流的重参数化方法，统一并扩展先前的结构化先验方法，实现更高效的后验推断。

提出的方法

• 提出基于Householder流的矩阵 variate Gaussian（MVG）先验重参数化方法，将高维权重矩阵映射到低维潜在空间。
• 在低维潜在空间中应用Stein变分梯度下降（SVGD），以高效近似网络权重的后验分布。
• 使用一组粒子表示后验，避免了对因子化Gaussian后验的限制性假设。
• 采用MVG先验来编码权重之间的行方向（神经元级）和列方向（滤波器/特征级）依赖关系，捕捉结构化不确定性。
• 引入一种重参数化方法，使SVGD能在降维空间中运行，从而降低高维权重空间中的核计算成本。
• 采用两阶段推断流程：首先通过Householder流对MVG先验进行重参数化，然后在变换后的空间中应用SVGD进行后验近似。

实验结果

研究问题

• RQ1 在贝叶斯神经网络中，对神经网络权重之间的结构依赖关系进行建模，是否能提升后验近似的准确性？
• RQ2 使用结合Householder流重参数化的矩阵 variate Gaussian 先验，是否能通过SVGD实现更高效、更准确的后验推断？
• RQ3 结构化权重不确定性在上下文Bandit和强化学习等序列决策任务中，如何影响探索行为和性能表现？
• RQ4 S2VGD是否能在在线学习环境中，优于标准SVGD和其他基线方法，更好地平衡探索与利用？
• RQ5 粒子数量在多大程度上影响不确定性感知策略学习在序列决策问题中的性能表现？

主要发现

• 在上下文Bandit任务中，S2VGD在第一天数据上的归一化累积点击率（CTR）始终优于SVGD和LinUCB。
• 随着粒子数M的增加，S2VGD与SVGD之间的性能差距进一步扩大，表明S2VGD能更有效地利用更大规模的粒子集以提升不确定性估计能力。
• 在强化学习中，无论采用REINFORCE还是A2C基线，S2VGD在所有三个任务（Cartpole、Cartpole Swing-Up、Double Pendulum）中均实现更快收敛并获得更高的折扣累积奖励。
• 当K=4时，S2VGD的性能优于在类似规模网络上训练的SVGD*，证明了结构化不确定性的重要性，而不仅仅是网络规模。
• 结果表明，结构化权重不确定性能够增强探索能力，从而在无需额外奖励塑形的情况下，提升不确定环境中的策略学习效果。
• 实证结果证实，通过MVG先验对权重间结构进行建模，可获得更具表现力的不确定性表征，尤其在在线决策任务中具有显著优势。