[论文解读] Modular Meta-Learning with Shrinkage

Yutian Chen, Abram L. Friesen+5 more|arXiv (Cornell University)|Sep 12, 2019

Topic Modeling参考文献 48被引用 8

一句话总结

该论文提出了一种模块化元学习框架，利用贝叶斯收缩方法自动识别神经网络中的任务特定模块与可复用的通用模块。通过为参数组分配具有可学习方差的高斯先验，该方法自适应地将不必要的模块收缩至共享先验，从而在低数据环境下实现稳健的、长时程的适应——在少样本文本到语音和 Omniglot 任务中，其性能优于 MAML、Reptile 和 iMAML，同时发现可解释的、任务特定的模块。

ABSTRACT

Many real-world problems, including multi-speaker text-to-speech synthesis, can greatly benefit from the ability to meta-learn large models with only a few task-specific components. Updating only these task-specific modules then allows the model to be adapted to low-data tasks for as many steps as necessary without risking overfitting. Unfortunately, existing meta-learning methods either do not scale to long adaptation or else rely on handcrafted task-specific architectures. Here, we propose a meta-learning approach that obviates the need for this often sub-optimal hand-selection. In particular, we develop general techniques based on Bayesian shrinkage to automatically discover and learn both task-specific and general reusable modules. Empirically, we demonstrate that our method discovers a small set of meaningful task-specific modules and outperforms existing meta-learning approaches in domains like few-shot text-to-speech that have little task data and long adaptation horizons. We also show that existing meta-learning methods including MAML, iMAML, and Reptile emerge as special cases of our method.

研究动机与目标

• 解决在少样本文本到语音和少样本分类任务中常见的低数据、长适应周期元学习场景下的过拟合问题。
• 通过自动发现可复用且可适应的模块，消除对手动设计任务特定模块的需求。
• 开发一种可扩展的、通用的元学习框架，支持大量适应步骤而不会过拟合。
• 将现有的元学习算法（如 MAML、Reptile 和 iMAML）统一为更广泛层次化贝叶斯收缩框架的特例。
• 在低数据环境下提升预测性能，同时在数据量增加时仍保持优异性能。

提出的方法

• 将任意神经网络划分为任意参数组，作为模块处理，每个模块分配一个具有可学习标量方差的高斯先验。
• 应用贝叶斯收缩：对偏离先验均值证据不足的模块，将其有效绑定至先验，实现参数共享并减少过拟合。
• 通过两种合理的方法估计先验方差，以最大化预测对数似然，从而实现在多样化任务间的元学习。
• 通过仅选择性地更新高方差、任务特定的模块，同时保持通用模块固定，实现对完整模型的长期适应。
• 使用隐式微分和基于梯度的优化方法端到端训练收缩先验，实现可扩展的元训练。
• 当收缩被禁用或所有模块被统一处理时，可恢复为标准元学习算法。

实验结果

研究问题

• RQ1 基于原则性的贝叶斯收缩方法，能否在无需人工架构设计的情况下自动发现一组最小化的任务特定模块？
• RQ2 结合收缩的模块化元学习是否能在低数据、长适应周期设置下提升泛化能力并防止过拟合？
• RQ3 能否将 MAML、Reptile 和 iMAML 等现有元学习算法统一于单一层次化贝叶斯框架之下？
• RQ4 所发现的模块与传统架构直觉（如卷积神经网络中最后一层的特定性）相比如何？
• RQ5 当数据量增加时，该方法是否仍能保持性能，避免因人工设计模块带来的瓶颈？

主要发现

• 该方法发现了一组数量少但意义明确的任务特定模块，且在图像分类任务中，倒数第二或最后一层卷积层始终被识别为最具可适应性的模块。
• 在少样本 Omniglot 任务中，σ-Reptile 达到 97.8±0.5% 的准确率，显著优于标准 Reptile（96.9±0.6%），在低数据条件下表现更优。
• 在 mini-ImageNet 上，σ-MAML 达到 92.3±0.8% 的准确率，显著优于标准 MAML（91.5±0.9%），在少样本设置中表现更佳。
• 在文本到语音合成任务中，该方法在长适应周期中有效防止了过拟合，并相比非模块化基线模型提升了预测性能。
• 在 90% 的运行中，该方法将最后两层识别为最任务特定的模块，与已知的架构洞察一致，验证了方法的可解释性。
• 在所有模块上学习单一共享先验会退化为标准元学习，证实了为每个模块设置独立先验对于有效模块发现的必要性。