[论文解读] Learning to Learn Variational Semantic Memory

Xiantong Zhen, Yingjun Du+4 more|arXiv (Cornell University)|Oct 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 85被引用 14

一句话总结

本文提出变分语义记忆（VSM），一种长期外部记忆模块，通过层次贝叶斯框架学习从过往任务中累积和检索概率性语义知识。通过将记忆召回建模为对潜在记忆变量的变分推断，VSM 实现了原则性、任务自适应的语义原型检索，通过将原型建模为分布而非确定性向量，在四个少样本学习基准上实现了最先进性能。

ABSTRACT

In this paper, we introduce variational semantic memory into meta-learning to acquire long-term knowledge for few-shot learning. The variational semantic memory accrues and stores semantic information for the probabilistic inference of class prototypes in a hierarchical Bayesian framework. The semantic memory is grown from scratch and gradually consolidated by absorbing information from tasks it experiences. By doing so, it is able to accumulate long-term, general knowledge that enables it to learn new concepts of objects. We formulate memory recall as the variational inference of a latent memory variable from addressed contents, which offers a principled way to adapt the knowledge to individual tasks. Our variational semantic memory, as a new long-term memory module, confers principled recall and update mechanisms that enable semantic information to be efficiently accrued and adapted for few-shot learning. Experiments demonstrate that the probabilistic modelling of prototypes achieves a more informative representation of object classes compared to deterministic vectors. The consistent new state-of-the-art performance on four benchmarks shows the benefit of variational semantic memory in boosting few-shot recognition.

研究动机与目标

• 为解决少样本元学习中短期记忆的局限性，引入一种可累积通用语义知识的长期记忆模块。
• 通过将类别原型建模为概率分布而非确定性向量，改进少样本识别，实现更具信息量的表示。
• 通过层次贝叶斯框架中的变分推断，提供原则化的记忆召回与更新机制。
• 通过从整合的记忆中检索上下文相关的语义信息，实现高效且自适应的知识迁移至新任务。
• 证明长期语义记忆可提升在多样化基准上的少样本学习性能。

提出的方法

• 该方法引入一种变分语义记忆（VSM）模块，将物体类别语义摘要作为概率嵌入存储，从跨任务的支持集特征表示中学习得到。
• 记忆召回被建模为对潜在记忆变量的变分推断，使模型能够为每个任务的输入检索量身定制的相关语义知识。
• 模型在推理过程中使用注意力机制动态关注相关记忆条目，实现基于查询内容的自适应检索。
• 整个系统通过层次变分推断端到端训练，在贝叶斯框架中联合优化记忆召回、原型推断和模型参数。
• 记忆随时间逐步更新并整合，实现长期知识累积，且不会发生灾难性遗忘。
• 原型被建模为分布（如高斯分布）而非固定向量，提升了低样本场景下的表征能力与鲁棒性。

实验结果

研究问题

• RQ1 一种能从过往任务中累积语义知识的长期记忆模块是否可提升少样本学习性能？
• RQ2 在元学习设置中，如何使记忆召回既具有原则性又可自适应于单个任务？
• RQ3 在少样本学习中，将类别原型建模为概率分布是否比使用确定性向量具有更好的泛化能力？
• RQ4 对潜在记忆变量进行变分推断是否能实现有效且高效的相关语义知识检索？
• RQ5 与现有短期记忆机制相比，所提出的变分语义记忆在泛化能力和可扩展性方面表现如何？

主要发现

• 所提出的变分语义记忆（VSM）在全部四个基准数据集上均达到最先进性能：miniImageNet、tieredImageNet、CIFAR-FS 和 FC100。
• 在 miniImageNet（5-way 1-shot）上，VSM 达到 65.72% 的准确率，使用深度特征提取器，较之前最先进方法（Tian et al. [70]）高出 0.90%。
• 在 tieredImageNet（5-way 1-shot）上，VSM 达到 72.01% 的准确率，较第二好的方法（Tian et al. [70]）高出 0.49%。
• 在 CIFAR-FS（5-way 1-shot）上，VSM 达到 63.42% 的准确率，超过第二好的方法（R2D2）1.12%。
• VSM 中使用概率原型相比确定性向量，能生成更具信息量和鲁棒性的类别表示。
• 消融研究证实，层次变分推断机制与记忆整合过程对模型性能提升至关重要。