[论文解读] Hypernetworks for Continual Semi-Supervised Learning

Dhanajit Brahma, Vinay Kumar Verma+1 more|arXiv (Cornell University)|Oct 5, 2021

Domain Adaptation and Few-Shot Learning参考文献 26被引用 8

一句话总结

本文提出 MCSSL，一种基于超网络的持续半监督学习框架，通过在权重生成网络的元空间中整合知识，实现对连续任务中已标注和未标注数据的有效利用，在所提出的 Semi-Split CIFAR-10 基准上实现了最先进性能，尤其在低标签设置下表现优异。

ABSTRACT

Learning from data sequentially arriving, possibly in a non i.i.d. way, with changing task distribution over time is called continual learning. Much of the work thus far in continual learning focuses on supervised learning and some recent works on unsupervised learning. In many domains, each task contains a mix of labelled (typically very few) and unlabelled (typically plenty) training examples, which necessitates a semi-supervised learning approach. To address this in a continual learning setting, we propose a framework for semi-supervised continual learning called Meta-Consolidation for Continual Semi-Supervised Learning (MCSSL). Our framework has a hypernetwork that learns the meta-distribution that generates the weights of a semi-supervised auxiliary classifier generative adversarial network $( extit{Semi-ACGAN})$ as the base network. We consolidate the knowledge of sequential tasks in the hypernetwork, and the base network learns the semi-supervised learning task. Further, we present $ extit{Semi-Split CIFAR-10}$, a new benchmark for continual semi-supervised learning, obtained by modifying the $ extit{Split CIFAR-10}$ dataset, in which the tasks with labelled and unlabelled data arrive sequentially. Our proposed model yields significant improvements in the continual semi-supervised learning setting. We compare the performance of several existing continual learning approaches on the proposed continual semi-supervised learning benchmark of the Semi-Split CIFAR-10 dataset.

研究动机与目标

• 为解决缺乏能够处理序列任务中同时包含已标注和未标注数据的持续半监督学习框架的问题。
• 通过在超网络潜在空间中整合知识，缓解持续学习中的灾难性遗忘。
• 开发一个新型基准 Semi-Split CIFAR-10，用于评估持续半监督学习系统。
• 证明利用未标注数据可提升低标签设置下的泛化能力和鲁棒性。
• 通过基于生成模型的基分类器，将元整合从监督学习扩展到半监督持续学习。

提出的方法

• 该框架使用变分自编码器（VAE）建模的超网络生成基网络的权重，实现元空间中的知识整合。
• 基网络为改进的 Semi-ACGAN，可联合执行半监督分类并利用已标注和未标注数据生成图像。
• 超网络编码器将任务特定的权重映射为10维潜在向量，解码器则从潜在代码重建基网络权重。
• 通过在序列任务上训练超网络，利用VAE损失正则化潜在空间，以保留任务特定知识，实现知识整合。
• 推理时，从超网络解码器采样15个模型，并通过多数投票进行集成，以提升鲁棒性。
• 记忆缓冲区存储少量已标注和未标注数据，用于在推理期间微调基模型。

实验结果

研究问题

• RQ1 通过超网络实现的元整合是否能有效缓解持续半监督学习中的灾难性遗忘？
• RQ2 当仅使用已标注数据时，MCSSL 与监督持续学习基线相比性能如何？
• RQ3 MCSSL 在标签数据稀缺时，从未标注数据中获益的程度如何？
• RQ4 所提出的 Semi-Split CIFAR-10 基准是否能实现对持续半监督学习系统的有意义评估？
• RQ5 在持续学习设置中，已标注与未标注数据之间的平衡如何影响准确率和遗忘程度？

主要发现

• 在 Semi-Split CIFAR-10 基准上，MCSSL 在所有已标注数据设置下均持续优于 Single-SSL 和 EWC-SSL 基线。
• 即使每个任务仅有10个已标注样本，MCSSL 仍能保持高准确率，表明其在低数据环境下的强大泛化能力。
• 随着每个任务中已标注样本数量的增加，MCSSL 的准确率略有提升，遗忘现象减少。
• 增加每个任务的未标注样本数量可提升准确率，表明未标注数据被有效利用。
• MCSSL 显著优于不使用未标注数据的监督持续学习基线（如 EWC、MERLIN），尤其在已标注数据减少时。
• 即使任务复杂度增加，模型也表现出极低的遗忘程度，表明超网络潜在空间中的知识整合非常有效。