[论文解读] Online Continual Learning for Embedded Devices

Tyler L. Hayes, Christopher Kanan|arXiv (Cornell University)|Mar 21, 2022

Domain Adaptation and Few-Shot Learning被引用 13

一句话总结

该论文为资源受限的嵌入式设备上的在线持续学习建立了实用标准，并在三个高分辨率图像数据集上，使用面向移动设备优化的CNN对七种算法进行了评估。在真实世界约束（如按类顺序的数据流和少样本学习）下，SLDA和20%缓存的回放方法在准确率、泛化能力和效率方面表现最佳。

ABSTRACT

Real-time on-device continual learning is needed for new applications such as home robots, user personalization on smartphones, and augmented/virtual reality headsets. However, this setting poses unique challenges: embedded devices have limited memory and compute capacity and conventional machine learning models suffer from catastrophic forgetting when updated on non-stationary data streams. While several online continual learning models have been developed, their effectiveness for embedded applications has not been rigorously studied. In this paper, we first identify criteria that online continual learners must meet to effectively perform real-time, on-device learning. We then study the efficacy of several online continual learning methods when used with mobile neural networks. We measure their performance, memory usage, compute requirements, and ability to generalize to out-of-domain inputs.

研究动机与目标

• 填补在内存和计算资源有限的真实嵌入式应用中评估在线持续学习方法的空白。
• 定义有效设备端持续学习的关键标准：在线推理、与顺序无关的学习、无需任务标签依赖，以及样本效率。
• 在不同数据排序和分布场景下，系统性地比较七种在线持续学习算法在移动CNN上的表现。
• 为未来在边缘设备上的AR/VR、机器人和个性化研究提供实证基线。
• 在多个数据集上评估模型性能、内存使用、计算成本以及域外泛化能力。

提出的方法

• 在五种面向移动设备优化的CNN上评估七种在线持续学习方法——微调、回放（2%和20%缓存）、SLDA、朴素贝叶斯、SOvR、NCM和感知机。
• 使用三个高分辨率图像分类数据集：OpenLORIS、Places-365和Places-Long-Tail，以测试不同数据分布下的性能表现。
• 在数据流按随机顺序（iid）和按类顺序（遗忘最严重的最坏情况）训练模型，分别测量两种设置下的准确率和泛化能力。
• 计算iid与类-iid性能的调和平均值（H-Mean），以评估对数据排序的鲁棒性，H-Mean越高表示整体性能越优。
• 测量内存和计算需求，以评估在嵌入式设备上部署的可行性。
• 使用每类少量标注样本，评估域外泛化能力和少样本学习性能。

实验结果

研究问题

• RQ1 在内存有限、计算资源受限且数据流非独立同分布的真实嵌入式约束下，哪些在线持续学习算法表现最佳？
• RQ2 当在小规模、非平稳数据流上训练时，不同持续学习方法对域外输入的泛化能力如何？
• RQ3 在移动CNN上，不同持续学习算法在模型准确率、内存使用和计算效率之间存在何种权衡？
• RQ4 数据排序（如按类排序与打乱）如何影响在线持续学习中的灾难性遗忘和模型性能？
• RQ5 哪些方法在AR/VR头戴设备和个人机器人等实时嵌入式应用中具有最强的部署潜力？

主要发现

• SLDA在所有数据集和数据排序下均取得了最高的调和平均准确率（39.3），表现出对数据排序的强鲁棒性以及优异的泛化能力。
• 20%缓存的回放方法取得了第二高的H-Mean（37.3），表明即使在移动模型的有限内存下，经验回放依然有效。
• 微调和感知机表现较差，H-Mean值低于10，表明在非独立同分布数据流下存在严重的灾难性遗忘。
• 如朴素贝叶斯和SOvR等方法表现稳定但偏低（H-Mean 9.6–17.8），凸显其在复杂视觉任务中特征表示学习的局限性。
• 所有方法在少样本学习场景下的性能均劣于全量数据训练，表明亟需更鲁棒的少样本持续学习算法。
• 本研究提供了实证基线，其中SLDA和20%回放方法在需要实时、设备端持续学习的嵌入式系统中脱颖而出，成为最有力的部署候选。