[论文解读] Decomposition of Uncertainty in Bayesian Deep Learning for Efficient and Risk-sensitive Learning

Stefan Depeweg, José Miguel Hernández-Lobato+2 more|arXiv (Cornell University)|Oct 19, 2017

Machine Learning and Algorithms被引用 121

一句话总结

该论文将带潜变量的贝叶斯神经网络的预测不确定性分解为认知不确定性与本质不确定性两部分，利用此分解实现主动学习并在连续设置中引入一个风险敏感的RL准则。

ABSTRACT

Bayesian neural networks with latent variables are scalable and flexible probabilistic models: They account for uncertainty in the estimation of the network weights and, by making use of latent variables, can capture complex noise patterns in the data. We show how to extract and decompose uncertainty into epistemic and aleatoric components for decision-making purposes. This allows us to successfully identify informative points for active learning of functions with heteroscedastic and bimodal noise. Using the decomposition we further define a novel risk-sensitive criterion for reinforcement learning to identify policies that balance expected cost, model-bias and noise aversion.

研究动机与目标

• 解释如何将带潜变量的BNN的预测不确定性分解为认知不确定性与本质不确定性两部分。
• 在存在异方差和双峰噪声的情况下展示数据高效的主动学习。
• 引入一个平衡模型偏差与噪声的风险敏感型基于模型的RL准则。
• 在非线性、复杂噪声环境下，展示不确定性分解相较于基线的经验收益。

提出的方法

• 模型：具有潜变量的贝叶斯神经网络(BNN+LV)，包括潜在输入 z 与权重不确定性 q(W)。
• 不确定性分解：推导基于熵和方差的分解，将预测不确定性 p(y*|x*) 中的认知不确定性和本质不确定性分离。
• 主动学习：使用信息理论的后验熵减少 I(W,y*) 来选择在认知不确定性高的情况下信息丰富的 x*。
• 风险敏感的RL：定义一个准则，在虚拟回放中将期望成本与认知和本质不确定性风险项平衡，并将其与模型偏差和对噪声的回避相关联。
• 蒙特卡罗估计：通过对 W~q(W)、z* 和噪声进行采样来近似熵、方差和风险项，并在需要处使用最近邻熵估计。
• 比较：与高斯过程基线以及变分/ Hamiltonian Monte Carlo 推断变体进行基准测试，以验证不确定性分解。

实验结果

研究问题

• RQ1 如何将带潜变量的BNN的预测不确定性分解为认知不确定性与本质不确定性两部分？
• RQ2 在存在异方差或双峰噪声的情境中，不确定性分解是否提升了主动学习？
• RQ3 利用此分解的风险敏感准则是否能改善连续域的基于模型的RL中的策略学习？
• RQ4 在预测性能和不确定性质量方面，与GP基线及其他推断方法相比，提出的方法如何？

主要发现

• 认知不确定性与数据稀缺区域一致，帮助在复杂噪声下识别主动学习的有信息输入。
• 基于熵的分解在异方差和双峰数据中揭示了有信息的输入，而总不确定性则失效。
• 带不确定性分解的 BNN+LV 在异方差和湿鸡任务上的主动学习中优于 GP 基线。
• 在 RL 中，风险敏感准则将风险分成认知不确定性（模型偏差）和本质不确定性（噪声）两部分，指导更安全、可靠的策略。
• 在所有实验中，使用信息增益进行主动学习以及风险加权的回放成本相较基线减少了模型偏差并提升了表现。