[论文解读] Decomposition of Uncertainty for Active Learning and Reliable Reinforcement Learning in Stochastic Systems.

Stefan Depeweg, José Miguel Hernández-Lobato+2 more|arXiv (Cornell University)|Oct 19, 2017

Machine Learning and Algorithms参考文献 16被引用 22

一句话总结

本文提出了一种在具有潜变量的贝叶斯神经网络中，将预测不确定性分解为知识性（模型）和随机性（数据）分量的方法。通过在主动学习和强化学习中利用这一分解，该方法提升了不确定性校准能力和决策可靠性，在不确定性感知的主动学习和鲁棒强化学习策略方面表现出更优性能。

ABSTRACT

Bayesian neural networks (BNNs) with latent variables are probabilistic models which can automatically identify complex stochastic patterns in the data. We study in these models a decomposition of predictive uncertainty into its epistemic and aleatoric components. We show how such a decomposition arises naturally in a Bayesian active learning scenario and develop a new objective for reliable reinforcement learning (RL) with an epistemic and aleatoric risk element. Our experiments illustrate the usefulness of the resulting decomposition in active learning and reliable RL.

研究动机与目标

• 将具有潜变量的贝叶斯神经网络中的预测不确定性系统地分解为知识性和随机性分量。
• 通过不确定性分解在主动学习中优先选择信息量丰富的数据样本，实现更可靠的主动学习。
• 提出一种风险感知的强化学习目标，显式考虑知识性和随机性不确定性。
• 通过在强化学习训练中引入不确定性分解，提升在随机环境中的策略可靠性。
• 通过实证验证该不确定性分解在主动学习和可靠强化学习设置中的有效性。

提出的方法

• 使用具有潜变量的贝叶斯神经网络来建模数据中的复杂随机模式。
• 应用变分推断来近似网络权重和潜变量的后验分布。
• 利用全方差定律推导预测方差的知识性和随机性分量的分解。
• 提出一种新型的强化学习目标函数，结合期望回报与知识性和随机性风险项。
• 利用不确定性估计指导主动学习，通过选择具有高知识性不确定性的样本进行标注。
• 在随机环境中训练和评估模型，以评估不确定性校准和策略可靠性。

实验结果

研究问题

• RQ1 在存在潜变量的情况下，如何系统地将贝叶斯神经网络中的预测不确定性分解为知识性和随机性分量？
• RQ2 不确定性分解在多大程度上提升了主动学习场景下的样本效率？
• RQ3 显式建模知识性和随机性不确定性是否能够增强强化学习中的策略可靠性？
• RQ4 与标准强化学习基线相比，所提出的风险感知强化学习目标在应对分布偏移时的鲁棒性如何？
• RQ5 不确定性分解对随机环境中不确定性校准和决策能力有何影响？

主要发现

• 在贝叶斯主动学习中，预测不确定性的知识性和随机性分量的分解自然产生，从而实现更具信息量的数据选择。
• 所提出的不确定性分解通过优先选择高知识性不确定性的样本，提升了主动学习的样本效率。
• 结合两种不确定性类型的鲁棒强化学习目标，能够在随机环境中生成更可靠的策略。
• 该方法在分布偏移下表现出更优的不确定性校准，减少了预测中的过度自信。
• 实证结果表明，使用该分解的模型在主动学习和强化学习基准中均实现了更好的泛化能力和可靠性。
• 该方法通过区分因知识缺乏（知识性）和固有数据噪声（随机性）引起的不确定性，实现了可靠的强化学习探索。