[论文解读] Decoupling Learning Rates Using Empirical Bayes Priors.

Sareh Nabi, Houssam Nassif+3 more|arXiv (Cornell University)|Feb 4, 2020

Advanced Bandit Algorithms Research参考文献 69被引用 3

一句话总结

本文提出一种经验贝叶斯方法，用于在广义线性模型中解耦一阶特征与二阶特征的学习率，利用观察到的部署数据事后计算层次化先验。该方法提升了模型收敛速度与性能，尤其在低流量或小批量设置下表现更优，在分类与上下文 bandit 应用中均展现出显著提升。

ABSTRACT

In this work, we propose an Empirical Bayes approach to decouple the learning rates of first order and second order features (or any other feature grouping) in a Generalized Linear Model. Such needs arise in small-batch or low-traffic use-cases. As the first order features are likely to have a more pronounced effect on the outcome, focusing on learning first order weights first is likely to improve performance and convergence time. Our Empirical Bayes method clamps features in each group together and uses the observed data for the deployed model to empirically compute a hierarchical prior in hindsight. We apply our method to a standard classification setting, as well as a contextual bandit setting in an Amazon production system. Both during simulations and live experiments, our method shows marked improvements, especially in cases of small traffic. Our findings are promising, as optimizing over sparse data is often a challenge. Furthermore, our approach can be applied to any problem instance modeled as a Bayesian framework.

研究动机与目标

• 解决在稀疏或低流量数据场景下，标准学习率调度策略失效的挑战。
• 通过解耦不同特征组（特别是第一阶与第二阶特征）的学习率，提升收敛速度与模型性能。
• 开发一种基于数据的层次化先验估计方法，能够根据模型上线后的实际行为自适应调整。
• 在现实生产系统中常见的小批量或低流量场景下实现有效学习。
• 将该方法推广至任意具有分组特征的贝叶斯建模框架中。

提出的方法

• 利用已部署模型的观察数据，经验性地计算层次化先验，实现各特征组的特定学习率自适应。
• 将每组内的特征（如一阶与二阶特征）进行钳位处理，使其共享同一学习率，实现组间解耦。
• 应用经验贝叶斯框架，基于真实线上数据的模型表现事后估计先验。
• 采用贝叶斯框架对特征权重建模，引入各组特定的学习率，提升优化稳定性。
• 在真实生产环境中将该方法应用于标准分类与上下文 bandit 场景。
• 利用观察数据推断各特征组的最优学习率缩放系数，降低对人工调参的依赖。

实验结果

研究问题

• RQ1 在低流量场景下，解耦一阶与二阶特征的学习率是否能提升模型收敛性能？
• RQ2 如何基于已部署模型的数据经验性地估计层次化先验，以指导学习率的自适应调整？
• RQ3 该方法在小批量或低流量的生产场景中是否能带来可测量的性能提升？
• RQ4 该方法是否可推广至不同建模框架（如分类与上下文 bandit）？
• RQ5 与标准学习率调度策略相比，该方法在收敛速度与准确率方面表现如何？

主要发现

• 该方法显著提升了模型收敛时间与性能，尤其在低流量或小批量场景下表现突出。
• 基于线上部署数据推导的经验贝叶斯先验，有效实现了不同特征组间学习率的解耦。
• 该方法在亚马逊生产系统中的分类与上下文 bandit 任务中均带来显著改进。
• 通过从数据中学习各组特定的学习率，降低了对人工调参的敏感性。
• 当数据稀疏时，性能增益最为明显，证实了该方法在真实世界低流量应用中的价值。
• 该框架可推广至任意具有分组特征的贝叶斯模型，具备广泛的适用性。