[论文解读] Compositional ADAM: An Adaptive Compositional Solver

Rasul Tutunov, Minne Li+3 more|arXiv (Cornell University)|Feb 10, 2020

Domain Adaptation and Few-Shot Learning参考文献 49被引用 10

一句话总结

本文提出C-ADAM，首个用于非线性嵌套期望值的自适应组合优化器，实现𝒪(δ⁻².²⁵)次oracle调用即收敛。该研究首次建立模型无关元学习（MAML）与组合优化之间的联系，展示了在元学习和投资组合优化任务中达到最先进收敛速率，并显著降低样本复杂度。

ABSTRACT

In this paper, we present C-ADAM, the first adaptive solver for compositional problems involving a non-linear functional nesting of expected values. We proof that C-ADAM converges to a stationary point in $\mathcal{O}(δ^{-2.25})$ with $δ$ being a precision parameter. Moreover, we demonstrate the importance of our results by bridging, for the first time, model-agnostic meta-learning (MAML) and compositional optimisation showing fastest known rates for deep network adaptation to-date. Finally, we validate our findings in a set of experiments from portfolio optimisation and meta-learning. Our results manifest significant sample complexity reductions compared to both standard and compositional solvers.

研究动机与目标

• 解决缺乏适用于非线性嵌套期望值组合优化问题的自适应、随机求解器的问题。
• 首次将模型无关元学习（MAML）与组合优化相连接，实现少样本学习中可扩展的自适应优化。
• 在现实超参数设置下，为自适应组合优化提供理论收敛保证，将ADAM的分析从理想化假设扩展至更实际场景。
• 在元学习和投资组合均值-方差优化中，展示优于标准求解器和组合求解器的样本效率与性能表现。

提出的方法

• 提出C-ADAM，一种扩展ADAM以处理具有嵌套期望值的组合目标的自适应随机优化器。
• 提出一种新颖的算法框架，在通过递归梯度估计处理非线性函数嵌套的同时，保持自适应学习率。
• 在现实超参数（β₁, β₂ ≠ 0）下推导收敛边界，将先前ADAM收敛证明扩展至组合设置。
• 将MAML形式化为两级嵌套期望问题，使组合优化技术可应用于元学习。
• 实现单循环、支持小批量的算法，确保在深度学习应用中的实用性与可扩展性。
• 集成方差减少技术，提升随机组合优化中的样本效率。

实验结果

研究问题

• RQ1 能否为具有非线性期望值嵌套的组合优化问题设计出自适应、随机求解器？
• RQ2 此类求解器在oracle复杂度下的理论收敛速率是多少？
• RQ3 在样本效率与收敛速度方面，所提方法相较于标准求解器与以往组合求解器表现如何？
• RQ4 MAML与组合优化之间的联系能否被形式化确立并用于提升元学习性能？
• RQ5 在非凸、深度网络微调场景中，C-ADAM是否实现优于现有方法的收敛速率？

主要发现

• C-ADAM实现理论收敛速率为𝒪(δ⁻².²⁵)阶次oracle调用，优于以往组合求解器的𝒪(δ⁻³.⁵)与𝒪(δ⁻⁴)复杂度。
• 该方法在投资组合优化与元学习中均实现显著的样本复杂度降低，在多个数据集上优于ADAM及其他基线方法。
• 在100只投资组合优化任务中，C-ADAM在大规模数据集（m=137810, n=100）上持续优于AGD、Adam及其他求解器。
• 在基于区域的投资组合数据集（m=7240, n=25）上，C-ADAM在账面市值、经营盈利能力与投资因子上均表现优异。
• 在少样本回归任务中，C-ADAM（通过C-MAML）在Omniglot与MiniImageNet数据集上实现最先进性能，尤其在1-shot与5-shot 20-way设置中表现突出。
• 理论分析证实，MAML可被重述为组合优化问题，从而在非凸设置下推导出新的收敛保证。