[论文解读] BI-MAML: Balanced Incremental Approach for Meta Learning

Yang Zheng, Jinlin Xiang+2 more|arXiv (Cornell University)|Jun 12, 2020

Domain Adaptation and Few-Shot Learning参考文献 23被引用 5

一句话总结

BI-MAML 提出了一种新颖的元学习框架，通过将增量学习与模型无关元学习相结合，在防止灾难性遗忘的同时，实现了对新任务的快速少样本适应。通过在基线模型上采用平衡学习策略，并结合三阶段训练过程——基线训练、微调和适应——该方法在 MNIST、SVHN 和 CIFAR-100 上实现了最先进的准确率与效率。

ABSTRACT

We present a novel Balanced Incremental Model Agnostic Meta Learning system (BI-MAML) for learning multiple tasks. Our method implements a meta-update rule to incrementally adapt its model to new tasks without forgetting old tasks. Such a capability is not possible in current state-of-the-art MAML approaches. These methods effectively adapt to new tasks, however, suffer from 'catastrophic forgetting' phenomena, in which new tasks that are streamed into the model degrade the performance of the model on previously learned tasks. Our system performs the meta-updates with only a few-shots and can successfully accomplish them. Our key idea for achieving this is the design of balanced learning strategy for the baseline model. The strategy sets the baseline model to perform equally well on various tasks and incorporates time efficiency. The balanced learning strategy enables BI-MAML to both outperform other state-of-the-art models in terms of classification accuracy for existing tasks and also accomplish efficient adaption to similar new tasks with less required shots. We evaluate BI-MAML by conducting comparisons on two common benchmark datasets with multiple number of image classification tasks. BI-MAML performance demonstrates advantages in both accuracy and efficiency.

研究动机与目标

• 通过支持持续学习新任务而不降低对先前学习任务的性能，解决元学习中的灾难性遗忘问题。
• 结合增量学习与元学习的优势，同时支持长期知识保留与对新任务的快速少样本适应。
• 通过引入一种平衡学习策略，确保基线模型在各类任务上表现均衡，从而提升训练效率与模型泛化能力。
• 在基准数据集上，同时实现增量分类准确率与少样本适应（元测试）的最先进性能。

提出的方法

• 实施三阶段训练流程：(1) 基线——在新任务上增量训练共享基线模型 $M_B$，同时利用固定大小的记忆集保存过往任务样本，以保持对旧任务的性能。
• 在微调阶段，使用存储的记忆样本将 $M_B$ 适配为特定任务的子模型 $M_F$，以提升对先前学习任务的性能。
• 在基线训练阶段采用平衡学习策略，确保模型在所有任务上泛化能力相当，降低性能方差并提升稳定性。
• 通过仅使用新任务的少量样本对 $M_B$ 进行元适应更新，生成新的适配模型 $M_A$，实现快速少样本泛化。
• 在适应阶段借鉴模型无关元学习（MAML）原则，但修改元更新规则以支持增量学习并防止遗忘。
• 使用固定大小的缓冲区进行记忆回放，存储所有先前见过任务的代表性样本，从而在增量训练中实现持续的知识保留。

实验结果

研究问题

• RQ1 能否设计一种元学习框架，实现新任务的持续增量学习，而不会导致对先前任务的灾难性遗忘？
• RQ2 如何通过平衡学习策略提升元学习基线模型在多样化任务上的泛化能力与稳定性？
• RQ3 BI-MAML 在分类准确率与训练效率方面，相较于现有元学习与增量学习方法，优势程度如何？
• RQ4 BI-MAML 是否能同时在增量学习（旧任务准确率）与元测试（新任务适应能力）上实现最先进性能？

主要发现

• 在包含 10 个任务（每任务 2 个类别）的 MNIST 数据集上，BI-MAML 达到了 88.99% 的准确率，比表现第二好的方法 iTAML 高出 22.6%。
• 在 CIFAR-100 上，BI-MAML 在所有任务配置下平均比第二好的方法 iTAML 提高了 5.63% 的准确率。
• BI-MAML 达到目标准确率所需的训练轮次显著更少——尤其在 CIFAR-100 等较大数据集上，展现出更优的训练效率。
• 在微调评估中，BI-MAML 在 MNIST 上达到 99.02% 的准确率，在 SVHN 上达到 98.42%，优于所有基线方法（包括 GEM、DGR、RtF、RPS-net 和 iTAML）。
• 在任务规模逐步增加（每任务 10、20、50 个类别）的增量学习设置下，BI-MAML 分别保持了 79.56%、77.0% 和 68.12% 的准确率，优于所有其他方法。
• 在元测试（少样本适应）中，BI-MAML 在 2-way-1-shot MNIST 上达到 98.40% 的准确率，在 5-way-5-shot CIFAR-100 上达到 71.81%，与 MAML 相当或略低，但显著优于其他增量学习方法。