[论文解读] Federated Reconnaissance: Efficient, Distributed, Class-Incremental Learning

Sean M. Hendryx, Dharma Raj KC+2 more|arXiv (Cornell University)|Aug 31, 2021

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出联邦侦察（federated reconnaissance），一种用于分布式、类增量学习的框架，其中客户端独立学习新类别，并通过原型向量高效共享知识。使用在线原型平均的原型网络在Omniglot上比复杂持续学习方法高出22%以上，在mini-ImageNet上高出33%以上，表明特征向量通信可实现鲁棒、低开销且高精度的联邦持续学习，而无需基于梯度的微调。

ABSTRACT

We describe federated reconnaissance, a class of learning problems in which distributed clients learn new concepts independently and communicate that knowledge efficiently. In particular, we propose an evaluation framework and methodological baseline for a system in which each client is expected to learn a growing set of classes and communicate knowledge of those classes efficiently with other clients, such that, after knowledge merging, the clients should be able to accurately discriminate between classes in the superset of classes observed by the set of clients. We compare a range of learning algorithms for this problem and find that prototypical networks are a strong approach in that they are robust to catastrophic forgetting while incorporating new information efficiently. Furthermore, we show that the online averaging of prototype vectors is effective for client model merging and requires only a small amount of communication overhead, memory, and update time per class with no gradient-based learning or hyperparameter tuning. Additionally, to put our results in context, we find that a simple, prototypical network with four convolutional layers significantly outperforms complex, state of the art continual learning algorithms, increasing the accuracy by over 22% after learning 600 Omniglot classes and over 33% after learning 20 mini-ImageNet classes incrementally. These results have important implications for federated reconnaissance and continual learning more generally by demonstrating that communicating feature vectors is an efficient, robust, and effective means for distributed, continual learning.

研究动机与目标

• 为解决现实系统中客户端逐步观察新类别且必须在不重新训练的情况下共享知识的分布式持续学习挑战。
• 提出一种可扩展的联邦侦察评估框架，基于适配后的mini-ImageNet和Omniglot基准。
• 评估并建立基于原型网络和高效知识融合的联邦持续学习的强基线。
• 证明在最小化灾难性遗忘方面，通信特征原型比参数共享或基于梯度的方法更有效。
• 表明在线平均原型可实现低内存、低通信开销且高精度的知识融合，适用于跨客户端的知识融合。

提出的方法

• 该框架基于mini-ImageNet和Omniglot构建联邦侦察基准，客户端逐步学习类别，并仅共享原型向量。
• 将原型网络适配为通过在线平均计算嵌入和类别原型，避免梯度更新和超参数调优。
• 通过聚合所有客户端的原型向量实现知识融合，使共享模型能够识别所有先前见过的类别。
• 通过评估前向和后向迁移准确率来衡量学习效率和记忆保留能力。
• 预训练期间使用k-shot数据增强可提升不同k值下原型网络的性能。
• 识别出在线原型计算中的数值稳定性问题为轻微准确率下降的来源，提示未来需研究更鲁棒的数值方法。

实验结果

研究问题

• RQ1 在联邦、类增量设置下，仅使用在线原型平均的简单原型网络是否能超越复杂持续学习算法？
• RQ2 在联邦持续学习中，与参数共享或基于梯度的知识迁移相比，通过原型通信的特征向量通信有多高效？
• RQ3 在线平均原型在最小化内存和通信开销的同时，能在多大程度上保持准确率？
• RQ4 当客户端每类仅看到5张样本时，通过原型共享实现的集体学习是否仍能带来前向和后向迁移增益？
• RQ5 为何在该设置下，4层卷积模型虽容量较低，却优于更大的ResNet-18？

主要发现

• 使用在线原型平均的4层原型网络在学习600个Omniglot类别后，准确率比SOTA方法高出22%以上。
• 在mini-ImageNet基准上，该方法在逐步学习20个类别后，准确率提升超过33%，显著优于复杂基线。
• 在线平均原型导致轻微但统计显著的准确率下降，原因在于浮点精度不足和灾难性抵消引发的数值不稳定性。
• 原型网络方法在有效抵抗灾难性遗忘的同时，还提升了对新类别的识别准确率，展现出良好的前向与后向迁移能力。
• ResNet-18在预训练数据上出现显著过拟合，尽管容量更高，但更简单的4层模型在该任务中表现更优。
• 联邦原型网络实现了集体进步：多个客户端并行学习并共享原型，显著提升了共享、不断增长的类别集合上的整体准确率，即使每类仅提供5张样本。