[论文解读] Bookworm continual learning: beyond zero-shot learning and continual learning

Kai Wang, Luis Herranz+2 more|arXiv (Cornell University)|Jun 26, 2020

Domain Adaptation and Few-Shot Learning参考文献 15被引用 4

一句话总结

本文提出Bookworm持续学习（BCL），一种统一框架，通过使用固定语义模型实现持续视觉模型更新，将持续学习与零样本学习相结合。提出双向想象（BImag）框架，利用条件变分自编码器（VAE）生成过去和未来类别的特征，表明联合类别-属性条件控制与非对称生成可显著减少遗忘，并在CUB和AwA数据集上超越基线模型的性能。

ABSTRACT

We propose bookworm continual learning(BCL), a flexible setting where unseen classes can be inferred via a semantic model, and the visual model can be updated continually. Thus BCL generalizes both continual learning (CL) and zero-shot learning (ZSL). We also propose the bidirectional imagination (BImag) framework to address BCL where features of both past and future classes are generated. We observe that conditioning the feature generator on attributes can actually harm the continual learning ability, and propose two variants (joint class-attribute conditioning and asymmetric generation) to alleviate this problem.

研究动机与目标

• 解决静态视觉识别模型的局限性，即假设所有类别在训练初期已知，无法适应新概念。
• 将持续学习（CL）与零样本学习（ZSL）统一到更真实的动态设置中，通过语义先验随时间学习新类别。
• 研究语义模型对持续学习的影响，特别是基于属性的条件控制是否有助于或损害持续学习性能。
• 开发一种内存与计算效率高的框架，实现过去与未来类别特征的联合学习，以支持持续视觉识别。

提出的方法

• 提出Bookworm持续学习（BCL），一种广义的持续学习设置，其中固定语义模型支持对未见类别的识别，视觉模型随时间持续更新。
• 引入双向想象（BImag）框架，利用条件变分自编码器（VAE）结合类别与属性信息，生成过去和未来类别的视觉特征。
• 采用特征蒸馏与回放对齐策略，保留先前任务的知识，缓解灾难性遗忘。
• 提出两种变体——联合类别-属性条件控制与非对称生成，以缓解属性条件控制对持续学习性能的负面影响。
• 引入一种新颖的评估指标——平均AUTAC（任务准确率曲线下面积），用于评估持续学习序列中所有时间步的性能表现。
• 采用统一框架联合训练与评估模型，同时优化视觉特征提取、特征生成与分类任务。

实验结果

研究问题

• RQ1 统一框架能否有效结合持续学习与零样本学习，实现在时间序列中对已见与未见类别的识别？
• RQ2 对特征生成器施加属性条件控制是否改善或损害持续学习性能，原因是什么？
• RQ3 如何平衡向后（过去）与向前（未来）的特征生成，以减少遗忘并提升泛化能力？
• RQ4 联合类别与属性条件控制，或非对称生成，能否缓解基于属性的语义模型对持续学习的负面影响？

主要发现

• attr-BImag变体（仅基于属性条件控制）在持续学习中表现劣于class-BImag基线，表明属性条件控制可能损害遗忘缓解效果。
• class-attr-BImag变体（同时基于类别与属性条件控制）显著优于attr-BImag，在CUB 150/50上达到0.600的平均AUTAC，在AwA 40/10上达到0.750。
• 非对称生成变体（asym-BImag）在CUB 150/50上取得最佳性能，平均AUTAC为0.588，优于attr-BImag与class-attr-BImag。
• 在AwA 40/10上，class-attr-BImag达到最高的平均AUTAC 0.750，展现出更优的跨任务泛化能力。
• BImag框架在GZSL设置（t=1）下取得具有竞争力的结果，在AwA 40/10上达到0.578的平均AUTAC，仅次于f-VAEGAN-D2。
• 所提出的BCL框架在初始时间步优于标准CL（class-BImag），得益于语义先验的引入，同时通过持续模型更新在GZSL设置中也实现性能提升。