[论文解读] Learning-to-Learn Stochastic Gradient Descent with Biased Regularization

Giulia Denevi, Carlo Ciliberto+2 more|arXiv (Cornell University)|Mar 25, 2019

Stochastic Gradient Optimization Techniques被引用 43

一句话总结

本文引入一个学习到学习（learning-to-learn, LTL）框架，其中对带偏差正则化风险的 SGD 在线学习以利用任务相关性；它给出超额传递风险界以及一个用于估计偏置的在线元算法。

ABSTRACT

We study the problem of learning-to-learn: inferring a learning algorithm that works well on tasks sampled from an unknown distribution. As class of algorithms we consider Stochastic Gradient Descent on the true risk regularized by the square euclidean distance to a bias vector. We present an average excess risk bound for such a learning algorithm. This result quantifies the potential benefit of using a bias vector with respect to the unbiased case. We then address the problem of estimating the bias from a sequence of tasks. We propose a meta-algorithm which incrementally updates the bias, as new tasks are observed. The low space and time complexity of this approach makes it appealing in practice. We provide guarantees on the learning ability of the meta-algorithm. A key feature of our results is that, when the number of tasks grows and their variance is relatively small, our learning-to-learn approach has a significant advantage over learning each task in isolation by Stochastic Gradient Descent without a bias term. We report on numerical experiments which demonstrate the effectiveness of our approach.

研究动机与目标

• 将学习到学习（LTL）作为元学习方法，选择从环境中抽取的任务族的内部学习算法。
• 提出以带偏置正则化真实风险的 SGD 作为内部算法，以利用任务相关性。
• 推导超额传递风险界，展示何时偏置能优于独立任务学习（ITL）的性能。
• 开发一个在线元算法，从一系列任务中增量估计偏置，具有低空间和时间复杂度。
• 为元算法提供理论保障，并在合成数据和真实数据上展示经验有效性。

提出的方法

• 将内部算法定义为对带偏置的正则化真实风险应用的 SGD，偏置为 h，正则化参数为 lambda。
• 证明固定偏置 h 的超额传递风险界，当 Var_h^2 较小时显示出改进。
• 引入一个代理目标 L_Zn(h) = min_w R_{Z_n,h}(w) 并证明它是凸且对 lambda-光滑，梯度为 nabla L_Zn(h) = -lambda (w_h(Z_n) - h)。
• 开发算法2，使用来自最后一次内部迭代的 epsilon-子梯度对元目标进行 SGD，从而实现在线偏置更新。
• 给出偏置估计 bar{h}_T 及由此得到的超额传递风险的界限，包括 O(Var_m / sqrt(n)) 项和 O(1/sqrt(T)) 项。

实验结果

研究问题

• RQ1 在相关任务上，在哪些条件下带偏置正则化的 SGD 能优于不带偏置的 SGD？
• RQ2 如何在一系列任务中在线估计一个最优偏置以最小化传递风险？
• RQ3 在超额传递风险方面，在线更新偏置的元算法有哪些统计保证？
• RQ4 在保持理论保证的前提下，所提方法在空间/时间复杂度上如何扩展？
• RQ5 在合成数据和真实数据上的实验结果是否支持带偏置正则化在 LTL 中的理论收益？

主要发现

• 当任务权向量在任务之间的方差较小时，带有正确偏置的 SGD 相较于无偏学习能带来更低的传递风险。
• 一个在线元算法可以在保持统计保证的同时，以低空间和时间复杂度估计偏置。
• 固定偏置的超额传递风险界限显示对 Var_h、R、L 和 n 的依赖，在 Var_h 较小时性能改善。
• 元算法实现了一个传递风险界限，包含随 n 下降的项和随 T 下降的另一项，表明随着观察到更多任务的收益。
• 推论表明 ITL (h=0) 和一个 oracle 偏置情形提供与 LTL 文献一致的具体界限。
• 对合成数据和真实数据的实验展示了带偏置正则化的在线 LTL 方法在实际中的有效性。