[论文解读] Many-to-One Knowledge Distillation of Real-Time Epileptic Seizure Detection for Low-Power Wearable Internet of Things Systems

Saleh Baghersalimi, Alireza Amirshahi+4 more|arXiv (Cornell University)|Jul 20, 2022

EEG and Brain-Computer Interfaces被引用 8

一句话总结

本文提出了一种多对一知识蒸馏框架，将多生物信号（EEG+ECG）深度神经网络压缩为单ECG模型，以适用于低功耗可穿戴物联网系统。通过将高精度多模态教师网络的知识迁移至轻量化学生网络，该方法在能耗降低37.65%的同时实现了教师模型98.5%的性能，从而实现在边缘设备上长期、舒适且实用的癫痫发作检测。

ABSTRACT

Integrating low-power wearable Internet of Things (IoT) systems into routine health monitoring is an ongoing challenge. Recent advances in the computation capabilities of wearables make it possible to target complex scenarios by exploiting multiple biosignals and using high-performance algorithms, such as Deep Neural Networks (DNNs). There is, however, a trade-off between performance of the algorithms and the low-power requirements of IoT platforms with limited resources. Besides, physically larger and multi-biosignal-based wearables bring significant discomfort to the patients. Consequently, reducing power consumption and discomfort is necessary for patients to use IoT devices continuously during everyday life. To overcome these challenges, in the context of epileptic seizure detection, we propose a many-to-one signals knowledge distillation approach targeting single-biosignal processing in IoT wearable systems. The starting point is to get a highly-accurate multi-biosignal DNN, then apply our approach to develop a single-biosignal DNN solution for IoT systems that achieves an accuracy comparable to the original multi-biosignal DNN. To assess the practicality of our approach to real-life scenarios, we perform a comprehensive simulation experiment analysis on several state-of-the-art edge computing platforms, such as Kendryte K210 and Raspberry Pi Zero.

研究动机与目标

• 解决长期癫痫发作监测中多生物信号可穿戴物联网系统功耗高和患者不适的问题。
• 降低实际物联网健康应用中多传感器部署带来的系统复杂性和同步问题。
• 开发一种轻量化、单生物信号（仅ECG）的深度学习模型，其检测精度可与复杂的多模态DNN相媲美。
• 实现在Raspberry Pi Zero和Kendryte K210等低功耗边缘平台上的实际部署，实现实时、连续监测。
• 在不显著牺牲性能的前提下，优化可穿戴物联网设备的能效和电池寿命。

提出的方法

• 使用独立的1D残差网络分别处理EEG和ECG信号，训练多模态教师网络以最大化检测精度。
• 应用知识蒸馏，将教师模型的知识迁移至仅处理ECG信号的推理阶段学生模型。
• 采用软标签蒸馏与交叉熵损失，使学生模型的输出分布与教师模型对齐，保留高层次特征模式。
• 优化学生模型（Distilled Res1DCNN）以实现最小参数量和最低推理延迟，适配低功耗边缘平台。
• 在真实边缘设备（包括Raspberry Pi Zero和Kendryte K210）上评估蒸馏模型，并在实时能耗监控下进行测试。
• 测量并比较各平台上的能耗、推理延迟和电池续航时间，以验证能效提升效果。

实验结果

研究问题

• RQ1 知识蒸馏能否在几乎不损失精度的前提下，有效将多生物信号癫痫发作检测模型压缩为单ECG模型？
• RQ2 与原始多模态DNN相比，蒸馏后的单ECG模型在低功耗边缘平台上能将能耗降低多少？
• RQ3 在真实可穿戴物联网硬件上，蒸馏模型的电池续航时间与教师模型相比如何？
• RQ4 在蒸馏模型中，检测性能（敏感性、特异性）与能效之间的权衡关系如何？
• RQ5 蒸馏模型能否在超低功耗边缘设备（如Kendryte K210）上保持实时推理能力？

主要发现

• 蒸馏后的Res1DCNN学生模型实现了98.5%的敏感性和98.7%的特异性，分别比多模态教师网络低1.5%和1.3%。
• 在Raspberry Pi Zero平台上，蒸馏模型相比教师模型能耗降低了37.65%。
• 在Raspberry Pi Zero上，使用570 mAh电池时，蒸馏模型的电池续航时间达到7.86小时，而教师模型仅为5.71小时。
• 在Kendryte K210上，蒸馏模型的电池续航时间达到16.29小时，得益于更低的空闲功耗，展现出显著的能效优势。
• 在Raspberry Pi Zero上，模型对3秒ECG片段的实时推理耗时720 ms；在Kendryte K210上为1,036 ms，支持连续监测。
• 通过进一步采用基于PULP的超低功耗平台进行优化，电池续航时间可延长至91.33小时，凸显其在下一代可穿戴系统中的可扩展性。