[论文解读] Multi-Objective Meta Learning

Feiyang Ye, Baijiong Lin+4 more|arXiv (Cornell University)|Feb 14, 2021

Domain Adaptation and Few-Shot Learning参考文献 56被引用 8

一句话总结

本文提出了一种统一的基于梯度的多目标元学习（MOML）框架，将其建模为多目标双层优化问题（MOBLP），实现了在元学习中对多个冲突目标的联合优化。该方法通过梯度下降和MGDA交替求解低层适应与高层多目标优化，实现了收敛，并在少样本学习、神经架构搜索、域自适应和多任务学习中展现出经验上的优越性。

ABSTRACT

Meta learning with multiple objectives can be formulated as a Multi-Objective Bi-Level optimization Problem (MOBLP) where the upper-level subproblem is to solve several possible conflicting targets for the meta learner. However, existing studies either apply an inefficient evolutionary algorithm or linearly combine multiple objectives as a single-objective problem with the need to tune combination weights. In this paper, we propose a unified gradient-based Multi-Objective Meta Learning (MOML) framework and devise the first gradient-based optimization algorithm to solve the MOBLP by alternatively solving the lower-level and upper-level subproblems via the gradient descent method and the gradient-based multi-objective optimization method, respectively. Theoretically, we prove the convergence properties of the proposed gradient-based optimization algorithm. Empirically, we show the effectiveness of the proposed MOML framework in several meta learning problems, including few-shot learning, neural architecture search, domain adaptation, and multi-task learning.

研究动机与目标

• 为解决多目标元学习中缺乏基于梯度且具有收敛保证的优化方法的问题。
• 将多种元学习问题——如少样本学习、神经架构搜索、域自适应和多任务学习——统一在单一MOBLP框架下。
• 开发一种基于梯度的优化算法，通过交替求解低层适应与高层多目标优化来解决MOBLP。
• 为所提出的MOML优化算法提供理论收敛性保证。
• 在多种元学习应用中，通过实证验证MOML在多目标场景下的有效性。

提出的方法

• 将具有多个目标的元学习建模为多目标双层优化问题（MOBLP），其中高层优化多个目标，低层则针对单个任务进行适应。
• 提出一种基于梯度的优化算法，交替执行低层子问题的梯度下降和高层子问题的基于梯度的多目标方法（如MGDA）。
• 利用隐函数定理计算通过低层解的梯度，从而实现对双层结构的端到端反向传播。
• 采用双层优化框架，基于多个目标上的验证性能来优化元参数，确保模型泛化能力。
• 提出一种统一的MOML框架，可针对不同学习问题（如少样本学习、NAS、域自适应和多任务学习）进行实例化。
• 在高层优化中应用MGDA方法，通过寻找能同时改进所有目标的下降方向，以处理目标之间的冲突。

实验结果

研究问题

• RQ1 能否为多目标元学习开发一种具有理论收敛保证的基于梯度的优化方法？
• RQ2 如何在统一框架下联合优化元学习中的多个冲突目标？
• RQ3 所提出的MOML框架是否在多目标元学习任务中优于现有的单目标或进化方法？
• RQ4 MOML框架能否有效应用于多样化的元学习问题，如少样本学习、NAS、域自适应和多任务学习？
• RQ5 与基于训练损失加权的策略相比，基于验证性能的双层优化框架如何提升泛化能力？

主要发现

• 在Office-Home数据集上，MOML在多种加权策略下优于STL和DMTL，平均准确率达到80.31%，高于STL的79.56%。
• 在Office-Home数据集上，MOML在四个任务中的三个（Ar、Cl、Pr）表现最佳，且在所有多任务学习方法中平均准确率排名第一。
• MOML在平均性能上优于等权重（EW）策略，证明了基于验证的双层优化优于基于训练损失的加权策略。
• 与STL相比，MOML在Ar和Rw任务上性能更优，表明通过多目标优化进行联合学习可增强泛化能力。
• 通过双层多目标优化联合调整任务权重与模型参数，MOML在多任务学习中取得了最先进性能。
• 实证结果证实，MOML能有效平衡多种冲突目标，如模型性能与鲁棒性，适用于多样化的元学习应用场景。