[论文解读] It's always personal: Using Early Exits for Efficient On-Device CNN Personalisation

Ilias Leontiadis, Stefanos Laskaridis+2 more|arXiv (Cornell University)|Feb 2, 2021

IoT and Edge/Fog Computing参考文献 15被引用 8

一句话总结

该论文提出 PersEPhonEE 框架，通过在预训练模型中添加早期退出机制，并在设备上以半监督方式训练这些退出层，实现了 CNN 模型的高效设备端个性化。通过仅个性化早期退出层而保持主干网络冻结，该方法在有限或无标签数据条件下，实现了高达 3.2 倍的推理吞吐量提升、2.2 倍的训练速度加快，以及最高 15.9% 的准确率提升，显著优于全局模型。

ABSTRACT

On-device machine learning is becoming a reality thanks to the availability of powerful hardware and model compression techniques. Typically, these models are pretrained on large GPU clusters and have enough parameters to generalise across a wide variety of inputs. In this work, we observe that a much smaller, personalised model can be employed to fit a specific scenario, resulting in both higher accuracy and faster execution. Nevertheless, on-device training is extremely challenging, imposing excessive computational and memory requirements even for flagship smartphones. At the same time, on-device data availability might be limited and samples are most frequently unlabelled. To this end, we introduce PersEPhonEE, a framework that attaches early exits on the model and personalises them on-device. These allow the model to progressively bypass a larger part of the computation as more personalised data become available. Moreover, we introduce an efficient on-device algorithm that trains the early exits in a semi-supervised manner at a fraction of the whole network's personalisation time. Results show that PersEPhonEE boosts accuracy by up to 15.9% while dropping the training cost by up to 2.2x and inference latency by 2.2-3.2x on average for the same accuracy, depending on the availability of labels on-device.

研究动机与目标

• 解决移动设备上严格计算、内存和隐私约束下的设备端模型个性化挑战。
• 克服集中式个性化方法的局限，包括隐私泄露和高昂的云基础设施成本。
• 仅使用设备端数据实现高准确率且高效的个性化，即使标签稀缺或缺失。
• 通过仅个性化早期退出层而保持主干网络冻结，降低训练和推理开销。
• 设计一种可动态根据输入置信度调整推理深度的系统，提升效率，同时不牺牲分布外样本的准确性。

提出的方法

• 在预训练 CNN 中不同深度处添加多个早期退出层，每个退出层配备轻量级分类器以支持个性化。
• 使用自监督蒸馏技术训练早期退出层，利用最终退出层的输出作为伪标签来源。
• 在推理时设置置信度阈值，对简单输入允许提前退出，从而减少 FLOPs 和延迟。
• 训练过程中保持原始主干网络权重不变，以防止灾难性遗忘，并确保对分布外输入的鲁棒性。
• 实现一个协调器，根据设备能力与期望的准确率-延迟权衡，选择最优退出层。
• 通过使用真实标签（当可用时）或来自最后一层退出的伪标签，支持监督与半监督训练。

实验结果

研究问题

• RQ1 能否以极低计算成本，在设备端高效个性化预训练 CNN 中的早期退出？
• RQ2 与全网络微调相比，通过早期退出实现的设备端个性化在准确率、延迟和训练时间方面表现如何？
• RQ3 当标签稀缺时，利用最后一层退出生成的伪标签进行半监督学习，能在多大程度上提升个性化准确率？
• RQ4 早期退出个性化是否能在加速简单样本推理的同时，保持对分布外输入的高准确率？
• RQ5 仅个性化早期退出层与全网络适应相比，对模型效率和资源使用的影响如何？

主要发现

• PersEPhonEE 在个性化数据上的准确率最高比原始全局模型提升 15.9%，尤其在标签可用时表现更优。
• 单个早期退出层的训练时间最快可达全网络微调的 23 倍，支持在资源消耗极低的情况下实现夜间设备端训练。
• 由于早期退出机制，推理吞吐量最高提升 3.2 倍（使用软标签时为 2.2 倍），在不损失准确率的前提下显著降低简单样本的延迟。
• 与完整模型相比，该框架将 FLOPs 最多减少 3.1 倍，参数量最多减少 25.1 倍，同时保持相近的准确率。
• 通过将分布外输入路由至最后一层退出，系统在分布外输入上维持了原始模型的准确率，确保了鲁棒性。
• 在移动 CPU 上，使用 2048 个样本对早期退出层进行设备端训练仅需 1.7 小时，证明了其在真实场景部署中的可行性。