[论文解读] An Approximate Bayesian Approach to Surprise-Based Learning

Vasiliki Liakoni, Alireza Modirshanechi+2 more|arXiv (Cornell University)|Jul 5, 2019

Statistical Mechanics and Entropy参考文献 19被引用 1

一句话总结

本文提出了一种基于惊喜信号的近似贝叶斯推理学习框架，通过惊喜信号动态调节学习率，实现在非平稳环境中的高效适应。该框架引入了新颖的粒子滤波器与变分滤波器，其更新规则简洁且可扩展，适用于指数族分布，在参数估计方面优于现有近似方法，同时与计算成本更高的算法性能相当。

ABSTRACT

Surprise-based learning allows agents to adapt quickly in non-stationary stochastic environments. Most existing approaches to surprise-based learning and change point detection assume either implicitly or explicitly a simple, hierarchical generative model of observation sequences that are characterized by stationary periods separated by sudden changes. In this work we show that exact Bayesian inference gives naturally rise to a surprise-modulated trade-off between forgetting and integrating the new observations with the current belief. We demonstrate that many existing approximate Bayesian approaches also show surprise-based modulation of learning rates, and we derive novel particle filters and variational filters with update rules that exhibit surprise-based modulation. Our derived filters have a constant scaling in observation sequence length and particularly simple update dynamics for any distribution in the exponential family. Empirical results show that these filters estimate parameters better than alternative approximate approaches and reach comparative levels of performance to computationally more expensive algorithms. The theoretical insight of casting various approaches under the same interpretation of surprise-based learning, as well as the proposed filters, may find useful applications in reinforcement learning in non-stationary environments and in the analysis of animal and human behavior.

研究动机与目标

• 将多种近似贝叶斯方法统一于基于惊喜信号学习的共同解释框架下。
• 开发计算高效的滤波器，使其基于非平稳环境中的惊喜信号调节学习过程。
• 为指数族分布推导出与观测序列长度呈恒定缩放关系的更新规则。
• 相比现有近似贝叶斯方法，提升参数估计的准确性。
• 在强化学习和自适应智能体行为分析等实际应用中实现可行性。

提出的方法

• 利用近似贝叶斯推理，推导出遗忘与新观测整合之间的惊喜调制权衡。
• 提出新颖的粒子滤波器与变分滤波器，其更新规则内在地由惊喜信号调制。
• 采用与观测序列长度呈恒定缩放的机制，确保计算效率。
• 将该框架应用于指数族中的任意分布，实现广泛适用性。
• 推导出解析上可处理且简洁的更新动态，即使在复杂观测序列下亦成立。
• 建立现有近似贝叶斯方法与基于惊喜信号学习范式之间的理论联系。

实验结果

研究问题

• RQ1 如何利用惊喜信号在近似贝叶斯推理中动态调节学习率？
• RQ2 现有近似贝叶斯方法与基于惊喜信号学习之间存在何种理论联系？
• RQ3 能否推导出在保持简洁性与可扩展性的同时提升估计精度的新滤波器？
• RQ4 所提出的滤波器与计算成本更高的算法相比性能如何？
• RQ5 基于惊喜信号的学习在非平稳环境中如何增强自适应行为？

主要发现

• 所提出的滤波器在参数估计方面优于其他近似贝叶斯方法。
• 滤波器性能达到与计算成本更高的算法相当的水平。
• 更新规则在观测序列长度上表现出恒定缩放，确保效率。
• 该框架通过基于惊喜信号学习的视角，统一解释了多种近似贝叶斯方法。
• 所推导的滤波器对指数族分布尤其简洁且高效。
• 理论分析证实，精确贝叶斯推理自然诱导出惊喜调制的学习率自适应。