[论文解读] Continual Learning on the Edge with TensorFlow Lite

Giorgos Demosthenous, Vassilis Vassiliades|arXiv (Cornell University)|May 5, 2021

Domain Adaptation and Few-Shot Learning参考文献 21被引用 13

一句话总结

本论文通过在迁移学习API中集成一个简单的回放缓冲区，将持续学习能力扩展至TensorFlow Lite，实现了在设备端模型适应过程中避免灾难性遗忘。该方法在移动设备上的增量学习场景中表现优于标准迁移学习，经基准测试和一个真实世界Android应用验证。

ABSTRACT

Deploying sophisticated deep learning models on embedded devices with the purpose of solving real-world problems is a struggle using today's technology. Privacy and data limitations, network connection issues, and the need for fast model adaptation are some of the challenges that constitute today's approaches unfit for many applications on the edge and make real-time on-device training a necessity. Google is currently working on tackling these challenges by embedding an experimental transfer learning API to their TensorFlow Lite, machine learning library. In this paper, we show that although transfer learning is a good first step for on-device model training, it suffers from catastrophic forgetting when faced with more realistic scenarios. We present this issue by testing a simple transfer learning model on the CORe50 benchmark as well as by demonstrating its limitations directly on an Android application we developed. In addition, we expand the TensorFlow Lite library to include continual learning capabilities, by integrating a simple replay approach into the head of the current transfer learning model. We test our continual learning model on the CORe50 benchmark to show that it tackles catastrophic forgetting, and we demonstrate its ability to continually learn, even under non-ideal conditions, using the application we developed. Finally, we open-source the code of our Android application to enable developers to integrate continual learning to their own smartphone applications, as well as to facilitate further development of continual learning functionality into the TensorFlow Lite environment.

研究动机与目标

• 解决在新类别逐步到达的真实场景中，设备端迁移学习存在的局限性。
• 在边缘设备上直接实现并评估基于TensorFlow Lite的持续学习能力。
• 展示在非理想条件下处理类别增量学习时，持续学习相较于迁移学习的优越性。
• 开源一个Android应用，使开发者能够将持续学习集成至智能手机应用中。
• 为未来在TensorFlow Lite生态系统中进一步增强持续学习能力奠定基础。

提出的方法

• 在模型头部扩展现有的TensorFlow Lite迁移学习API，加入一个简单的回放缓冲区，用于存储并重放部分历史数据。
• 使用固定大小的缓冲区，在增量训练期间保留先前学习过的类别中的代表性样本。
• 通过在反向传播前将当前批次数据与重放样本混合，将回放缓冲区集成至训练循环中。
• 在CORe50基准测试中，针对三种场景（累积、新实例、新类别）训练并评估模型。
• 在实时Android应用中部署并测试模型，使用摄像头实时输入，在不同图像质量和物体条件下进行测试。
• 通过分类准确率和置信度分数，对比所有场景下迁移学习与持续学习模型的性能。

实验结果

研究问题

• RQ1 在真实世界边缘部署场景中，TensorFlow Lite中的迁移学习能否在不发生灾难性遗忘的情况下处理增量类别学习？
• RQ2 在非理想、真实世界图像条件下，基于简单回放的持续学习方法相较于迁移学习表现如何？
• RQ3 在TensorFlow Lite当前API约束下，能否在移动设备上有效实现并部署持续学习？
• RQ4 在遮挡或旋转等挑战性视觉条件下，持续学习模型的失败模式是什么？
• RQ5 当持续学习模型失败时，其预测行为如何变化，特别是是否存在类别偏差？

主要发现

• 即使数据量极少，TensorFlow Lite中的迁移学习在逐步引入新类别时仍表现出灾难性遗忘，无法保留对先前学习类别的知识。
• 采用回放缓冲区的持续学习模型成功避免了灾难性遗忘，在CORe50基准测试的所有场景中，包括新类别，均保持了高准确率。
• 在真实世界的Android应用中，持续学习模型对大多数类别的置信度分数保持在0.85以上，其中Glasses类始终以100%的置信度被正确分类。
• 模型主要在关键视觉特征被遮挡时（如遥控器按钮、水杯把手、瓶盖）发生失败，表明对部分或遮挡物体敏感。
• 当持续学习模型失败时，其预测结果会一致地默认为最后学习的类别（Glasses），表明预测头或记忆缓冲区可能存在潜在偏差。
• 在新类别场景中，持续学习模型优于迁移学习模型，后者因遗忘而表现急剧下降，而CL模型保持了稳健性能。