[论文解读] Learning from the Past: Continual Meta-Learning via Bayesian Graph Modeling

Yadan Luo, Zi Huang+4 more|arXiv (Cornell University)|Nov 12, 2019

Domain Adaptation and Few-Shot Learning参考文献 34被引用 8

一句话总结

该论文提出CML-BGNN，一种持续元学习框架，通过贝叶斯图神经网络缓解少样本学习中的灾难性遗忘与拓扑不确定性。通过记忆增强图网络建模任务间相关性，并应用Bayes-by-Backprop实现鲁棒的边推理，该方法在mini-ImageNet 5-way 1-shot上达到88.62%的准确率，相比SOTA提升42.8%。

ABSTRACT

Meta-learning for few-shot learning allows a machine to leverage previously acquired knowledge as a prior, thus improving the performance on novel tasks with only small amounts of data. However, most mainstream models suffer from catastrophic forgetting and insufficient robustness issues, thereby failing to fully retain or exploit long-term knowledge while being prone to cause severe error accumulation. In this paper, we propose a novel Continual Meta-Learning approach with Bayesian Graph Neural Networks (CML-BGNN) that mathematically formulates meta-learning as continual learning of a sequence of tasks. With each task forming as a graph, the intra- and inter-task correlations can be well preserved via message-passing and history transition. To remedy topological uncertainty from graph initialization, we utilize Bayes by Backprop strategy that approximates the posterior distribution of task-specific parameters with amortized inference networks, which are seamlessly integrated into the end-to-end edge learning. Extensive experiments conducted on the miniImageNet and tieredImageNet datasets demonstrate the effectiveness and efficiency of the proposed method, improving the performance by 42.8% compared with state-of-the-art on the miniImageNet 5-way 1-shot classification task.

研究动机与目标

• 为解决元学习在少样本分类中灾难性遗忘与鲁棒性不足的问题。
• 通过图结构表示建模长期任务间与短期任务内相关性。
• 通过贝叶斯参数推断处理消息传递过程中图拓扑的不确定性。
• 通过门控循环单元实现历史聚合，支持在连续任务间高效持续的知识迁移。
• 通过任务特定参数的摊销后验近似，提升低数据场景下的泛化与鲁棒性。

提出的方法

• 模型将每个episode表示为图，节点为支持集与查询样本，边由学习到的相似性核定义。
• 记忆增强图神经网络使用门控循环单元，聚合并传播跨任务的历史节点表示。
• 应用Bayes-by-Backprop，通过均值与方差参数近似任务特定分类权重的后验分布。
• 端到端集成摊销推理网络，实现在边学习过程中动态、不确定性感知的参数更新。
• 图结构随时间演化，通过序列消息传递同时保留任务内邻接关系与任务间依赖。
• 该框架支持完全标注与半监督设置，增强对噪声或不完整监督的鲁棒性。

实验结果

研究问题

• RQ1 基于图的元学习模型能否在一系列持续的少样本任务中有效保留知识？
• RQ2 如何缓解边初始化中的拓扑不确定性，以防止消息传递中的误差累积？
• RQ3 引入循环历史建模在多大程度上提升少样本学习中的泛化能力？
• RQ4 贝叶斯参数推断是否能增强低数据与噪声环境下的鲁棒性？
• RQ5 在部分标注条件下，模型在半监督少样本学习中的表现如何？

主要发现

• CML-BGNN在5-way 1-shot mini-ImageNet基准上达到88.62%准确率，相比最先进方法相对提升42.8%。
• 在5-way 1-shot分类中，CML-BGNN相比EGNN与GNN分别提升30.0%与39.3%，证明其卓越的知识保留能力。
• 在20%支持数据标注的半监督5-way 5-shot学习中，CML-BGNN达到88.95%准确率，显著优于EGNN（63.62%）与GNN（52.45%）。
• 消融实验表明，若移除任务特定参数推断，5-way 5-shot中的准确率将从92.69%降至91.21%，证实其必要性。
• 将图深度从1层增至3层，GNN、EGNN与CML-BGNN的1-shot准确率分别提升3.4%、6.4%与4.3%，表明模型表达能力增强。
• 历史转移模块中隐藏状态数为16的模型始终优于状态数更少的变体，证实更丰富的记忆表征具有优势。