[论文解读] Guarantees for Tuning the Step Size using a Learning-to-Learn Approach

Xiang Wang, Shuai Yuan+2 more|arXiv (Cornell University)|Jun 30, 2020

Domain Adaptation and Few-Shot Learning参考文献 34被引用 6

一句话总结

本文为使用元梯度下降进行梯度下降步长的元学习优化提供了理论保证。结果表明，朴素的元目标会导致元梯度爆炸或消失，但使用对数变换后的目标可确保梯度多项式有界，而反向传播仍面临数值问题。关键的是，本文证明了在数据有限或噪声较大的情况下，必须在独立的验证集上训练元目标（即训练-验证法），才能保证泛化性能，该发现已在基于神经网络的优化器上通过实证验证。

ABSTRACT

Choosing the right parameters for optimization algorithms is often the key to their success in practice. Solving this problem using a learning-to-learn approach -- using meta-gradient descent on a meta-objective based on the trajectory that the optimizer generates -- was recently shown to be effective. However, the meta-optimization problem is difficult. In particular, the meta-gradient can often explode/vanish, and the learned optimizer may not have good generalization performance if the meta-objective is not chosen carefully. In this paper we give meta-optimization guarantees for the learning-to-learn approach on a simple problem of tuning the step size for quadratic loss. Our results show that the naïve objective suffers from meta-gradient explosion/vanishing problem. Although there is a way to design the meta-objective so that the meta-gradient remains polynomially bounded, computing the meta-gradient directly using backpropagation leads to numerical issues. We also characterize when it is necessary to compute the meta-objective on a separate validation set to ensure the generalization performance of the learned optimizer. Finally, we verify our results empirically and show that a similar phenomenon appears even for more complicated learned optimizers parametrized by neural networks.

研究动机与目标

• 分析在使用元学习方法调节梯度下降步长时，元梯度下降的稳定性和收敛性。
• 识别在简单二次设定下，元梯度为何可能在元优化过程中发生爆炸或消失。
• 确定在何种条件下，必须在独立的验证集上计算元目标，以确保所学优化器的泛化性能。
• 在基于神经网络的复杂元学习优化器上，实证验证理论发现。

提出的方法

• 将元优化问题形式化为基于内层优化器（梯度下降）在二次损失函数上的轨迹最小化元目标。
• 分析不同元目标选择下的元梯度行为：标准损失 vs. 对数损失，表明仅对数损失可确保梯度多项式有界。
• 证明当使用对数损失目标时，元步长为 $1/\sqrt{k}$ 的元梯度下降可收敛至最优步长。
• 展示尽管梯度有界，对数损失目标的反向传播仍因计算极大或极小值的比值而引发数值不稳定性。
• 引入并比较两种元目标策略：'训练-训练'（使用训练集）与'训练-验证'（使用独立验证集），在含噪声的最小二乘回归设定下进行比较。
• 在基于MNIST训练的神经网络优化器（MLP）上实证验证结果，比较在不同数据量和噪声水平下的训练-训练与训练-验证设置。

实验结果

研究问题

• RQ1 当使用标准损失作为元目标时，步长调节的元梯度是否会爆炸或消失？
• RQ2 对元目标进行变换（如对数损失）是否能稳定元梯度并确保收敛？
• RQ3 尽管有界，为何标准反向传播无法实现数值稳定的对数损失元梯度？
• RQ4 在何种条件下，必须使用独立验证集计算元目标，以避免过拟合并确保泛化？
• RQ5 简单二次设定下的理论洞见是否可推广至具有神经网络参数化的更复杂元学习优化器？

主要发现

• 在使用标准损失目标时，二次步长调节问题中的元梯度会爆炸或消失，导致优化不稳定。
• 使用最终损失的对数作为元目标可确保元梯度保持多项式有界，从而实现收敛。
• 尽管有界，直接对对数损失目标进行反向传播仍会因极大或极小值比值的计算而引发数值不稳定性。
• 当数据有限或噪声较大时，'训练-验证'方法显著优于'训练-训练'，尤其在样本量为维度的固定比例时（如 $n = d/2$）且噪声较高时。
• 当样本数较大时，'训练-训练'可实现接近最优的性能，趋近于理论误差界 $d\sigma^2/n$。
• 在MNIST上的实证结果表明，基于神经网络的优化器中，'训练-验证'在标签噪声或小样本场景下泛化性能优于'训练-训练'。