[论文解读] Meta-learning with Stochastic Linear Bandits

Leonardo Cella, Alessandro Lazaric+1 more|arXiv (Cornell University)|May 18, 2020

Advanced Bandit Algorithms Research参考文献 37被引用 5

一句话总结

本文提出了一种用于随机线性Bandit的元学习框架，采用偏差正则化的OFUL算法，通过从先前任务中学习特定于任务的偏差向量来改进遗憾最小化。作者在理论上和实验中表明，在任务分布方差较低且任务数量增加的条件下，其元学习方法通过经验迁移显著优于标准OFUL，从而降低了累积遗憾。

ABSTRACT

We investigate meta-learning procedures in the setting of stochastic linear bandits tasks. The goal is to select a learning algorithm which works well on average over a class of bandits tasks, that are sampled from a task-distribution. Inspired by recent work on learning-to-learn linear regression, we consider a class of bandit algorithms that implement a regularized version of the well-known OFUL algorithm, where the regularization is a square euclidean distance to a bias vector. We first study the benefit of the biased OFUL algorithm in terms of regret minimization. We then propose two strategies to estimate the bias within the learning-to-learn setting. We show both theoretically and experimentally, that when the number of tasks grows and the variance of the task-distribution is small, our strategies have a significant advantage over learning the tasks in isolation.

研究动机与目标

• 通过利用元学习中的先前任务经验来解决随机线性Bandit中收敛速度慢的挑战。
• 研究偏差正则化的OFUL算法版本如何在Bandit任务分布中改进遗憾最小化。
• 开发并评估两种元学习策略——平均法和岭回归法——以从一组先前完成的任务中估计偏差向量。
• 建立理论和实证条件，以证明元学习相较于孤立学习每个任务时能带来显著性能提升。

提出的方法

• 提出一种带偏差的OFUL算法，其中正则化项包含到已学习偏差向量的平方欧几里得距离，以提升跨任务的泛化能力。
• 提出一种基于平均的方法（AVG-OFUL），将偏差向量估计为先前任务中特定任务参数的经验均值。
• 开发一种基于岭回归的方法（RR-OFUL），通过在观测到的任务参数上最小化正则化损失来估计偏差向量。
• 偏差估计在元学习设置中进行，目标是选择一种在任务分布上具有良好泛化能力的学习算法。
• 理论分析表明，两种方法在任务分布方差较低且任务数量增加的条件下均能实现次线性遗憾。
• 在合成数据和真实世界数据集（Last.fm 和 Movielens）上进行实证评估，使用SVD和KMeans构建特定于任务的特征表示。

实验结果

研究问题

• RQ1 与标准OFUL相比，偏差正则化的OFUL版本是否能在随机线性Bandit中降低遗憾？
• RQ2 从先前任务分布中进行元学习是否能带来优于孤立学习每个任务的性能？
• RQ3 在遗憾和对任务错位的鲁棒性方面，不同的偏差估计策略（平均法与岭回归）表现如何？
• RQ4 在何种条件下（例如低任务方差、大量任务）元学习相较于孤立学习具有显著优势？
• RQ5 所提出的方法对任务分布错位的敏感性如何，尤其是在具有复杂结构的真实世界数据中？

主要发现

• 当任务数量增加且任务分布方差较小时，所提出的元学习方法AVG-OFUL和RR-OFUL相较于标准OFUL实现了显著更低的累积遗憾。
• AVG-OFUL在合成数据和真实世界数据上始终优于ITL（单个任务学习），尤其是在假设1（低任务错位）成立时表现更优。
• RR-OFUL对任务错位更敏感，在任务相似性较低时表现较差，这在Movielens数据集上高错位情况下的性能下降中得到验证。
• 理论分析证实，两种元学习策略均能实现次线性遗憾，且随着任务数量增加和任务方差减小，优势更加明显。
• 在Last.fm和Movielens上的实证结果表明，当任务相似性较高时，无偏平均估计器（AVG-OFUL）优于有偏岭估计器（RR-OFUL）。
• Oracle策略（已知真实任务参数）验证了推论2和假设1的有效性，表明理论边界在实践中具有实际意义。