[论文解读] A Bridge Between Hyperparameter Optimization and Larning-to-learn.

Luca Franceschi, Michele Donini+2 more|arXiv (Cornell University)|Dec 18, 2017

Domain Adaptation and Few-Shot Learning参考文献 27被引用 9

一句话总结

本文提出了一种统一框架，通过建模嵌套优化问题（其中内目标的动力学决定外目标的更新），将基于梯度的超参数优化与元学习（学习如何学习）相连接。该框架使得两种场景下可共享优化算法，初步实验在少样本学习场景中显示出良好前景。

ABSTRACT

We consider a class of a nested optimization problems involving inner and outer objectives. We observe that by taking into explicit account the optimization dynamics for the inner objective it is possible to derive a general framework that unifies gradient-based hyperparameter optimization and meta-learning (or learning-to-learn). Depending on the specific setting, the variables of the outer objective take either the meaning of hyperparameters in a supervised learning problem or parameters of a meta-learner. We show that some recently proposed methods in the latter setting can be instantiated in our framework and tackled with the same gradient-based algorithms. Finally, we discuss possible design patterns for learning-to-learn and present encouraging preliminary experiments for few-shot learning.

研究动机与目标

• 在单一优化框架下统一基于梯度的超参数优化与元学习。
• 形式化监督学习中的超参数与学习-如何学习中元学习器参数之间的关系。
• 证明现有元学习方法可在此统一框架内被重新解释并使用相同的基于梯度的算法求解。
• 基于框架结构，识别出构建高效元学习系统的设计模式。
• 通过在少样本学习中的初步实验，评估该框架的有效性。

提出的方法

• 将问题建模为嵌套优化：外目标依赖于内优化问题的解。
• 将内优化过程的动力学（例如梯度下降轨迹）显式纳入外目标梯度计算中。
• 推导出一种适用于外变量的一般梯度更新规则，以考虑其对外部优化结果的隐式依赖。
• 通过将外变量重新解释为超参数或元学习器参数，将推导出的梯度更新规则应用于超参数优化与元学习两种场景。
• 对两种场景使用相同的算法流程——通过内优化过程进行反向传播。
• 基于框架的结构洞察设计元学习系统，例如初始化与适应机制。

实验结果

研究问题

• RQ1 超参数优化与元学习能否在单一嵌套优化框架下被正式统一？
• RQ2 如何将内优化的动力学纳入外目标梯度中，以支持联合优化？
• RQ3 现有元学习方法在多大程度上可在此统一框架内被实例化并求解？
• RQ4 从该框架中涌现出哪些用于构建高效元学习系统的结构设计模式？
• RQ5 与标准方法相比，该框架在少样本学习基准测试中的表现如何？

主要发现

• 所提出的框架成功地在统一的数学公式下将基于梯度的超参数优化与元学习统一起来。
• 该框架使得相同的基于梯度的优化算法可被应用于超参数调优与元学习，仅通过对外变量的重新解释即可实现。
• 近期提出的几种元学习方法可自然地在此框架中实例化，表明其具有共享的算法基础。
• 初步实验表明该框架在少样本学习场景中具备可行性与有效性。
• 该框架揭示了可用于指导新型元学习架构开发的结构化设计模式。