[논문 리뷰] Many-to-One Knowledge Distillation of Real-Time Epileptic Seizure Detection for Low-Power Wearable Internet of Things Systems

Saleh Baghersalimi, Alireza Amirshahi외 4명|arXiv (Cornell University)|2022. 07. 20.

EEG and Brain-Computer Interfaces인용 수 8

한 줄 요약

이 논문은 저전력 웨어러블 IoT 시스템을 위한 다중생체신호(EEG+ECG) 딥뉴럴넷을 단일-ECG 모델로 압축하는 many-to-one 지식 증류 프레임워크를 제안한다. 고정확도 다중모달 교사 네트워크에서 경량 학생 네트워크로 지식을 전이함으로써, 학생 모델은 교사 모델의 98.5% 성능를 달성하면서도 에너지 소비를 37.65% 감소시켰다. 이는 엣지 디바이스에서 장기간, 편안하고 실용적인 간질 발작 탐지에 기여한다.

ABSTRACT

Integrating low-power wearable Internet of Things (IoT) systems into routine health monitoring is an ongoing challenge. Recent advances in the computation capabilities of wearables make it possible to target complex scenarios by exploiting multiple biosignals and using high-performance algorithms, such as Deep Neural Networks (DNNs). There is, however, a trade-off between performance of the algorithms and the low-power requirements of IoT platforms with limited resources. Besides, physically larger and multi-biosignal-based wearables bring significant discomfort to the patients. Consequently, reducing power consumption and discomfort is necessary for patients to use IoT devices continuously during everyday life. To overcome these challenges, in the context of epileptic seizure detection, we propose a many-to-one signals knowledge distillation approach targeting single-biosignal processing in IoT wearable systems. The starting point is to get a highly-accurate multi-biosignal DNN, then apply our approach to develop a single-biosignal DNN solution for IoT systems that achieves an accuracy comparable to the original multi-biosignal DNN. To assess the practicality of our approach to real-life scenarios, we perform a comprehensive simulation experiment analysis on several state-of-the-art edge computing platforms, such as Kendryte K210 and Raspberry Pi Zero.

연구 동기 및 목표

• 장기적인 간질 발작 모니터링을 위한 다중생체신호 웨어러블 IoT 시스템에서의 높은 에너지 소비와 환자 불편함 문제를 해결한다.
• 실제 IoT 헬스 애플리케이션에서 다중센서 배치와 관련된 시스템 복잡성과 동기화 문제를 줄인다.
• 복잡한 다중모달 DNN과 비교해도 높은 탐지 정확도를 유지하는 경량 단일생체신호(단일-ECG) 딥러닝 모델을 개발한다.
• 실시간 연속 모니터링을 위한 저전력 엣지 플랫폼(예: Raspberry Pi Zero, Kendryte K210)에 실용적으로 구현 가능하도록 한다.
• 성능의 심각한 희생 없이도 웨어러블 IoT 디바이스의 에너지 효율성과 배터리 수명을 최적화한다.

제안 방법

• EEG와 ECG 신호에 대해 별도의 1D 잔차망을 사용하여 최대 탐지 정확도를 확보하는 다중모달 교사 네트워크를 훈련한다.
• 교수 모델의 지식을 단일 ECG 신호만을 처리하는 학생 모델로 전이하기 위해 지식 증류를 적용한다.
• 교수 모델의 출력 분포와 일치시키기 위해 소프트 레이블 증류와 교차엔트로피 손실을 사용하여 고수준 패턴을 유지한다.
• 저전력 엣지 플랫폼에 적합하도록 최소한의 파라미터와 추론 지연을 갖춘 학생 모델(Distilled Res1DCNN)을 최적화한다.
• 실제 엣지 디바이스인 Raspberry Pi Zero와 Kendryte K210에서 실시간 에너지 모니터링 조건 하에서 증류된 모델을 평가한다.
• 플랫폼 간 에너지 소비, 추론 지연, 배터리 수명을 측정하고 비교하여 에너지 효율성 향상을 검증한다.

실험 결과

연구 질문

• RQ1 지식 증류를 통해 다중생체신호 간질 발작 탐지 모델을 단일-ECG 모델로 압축할 때 정확도 손실 없이 효과적으로 구현할 수 있는가?
• RQ2 저전력 엣지 플랫폼에서 원래의 다중모달 DNN에 비해 증류된 단일-ECG 모델이 얼마나 많은 에너지 소비를 줄일 수 있는가?
• RQ3 실제 웨어러블 IoT 하드웨어에서 증류된 모델의 배터리 수명은 교사 모델과 비교해 어떻게 되는가?
• RQ4 증류된 모델에서 탐지 성능(민감도, 특이도)과 에너지 효율성 간의 상호 교환 관계는 어떠한가?
• RQ5 Kendryte K210과 같은 초저전력 엣지 디바이스에서 증류된 모델이 실시간 추론 기능을 유지할 수 있는가?

주요 결과

• 증류된 Res1DCNN 학생 모델은 민감도 98.5%, 특이도 98.7%를 달성하였으며, 다중모달 교사 네트워크보다 각각 1.5%, 1.3% 낮은 성능이다.
• Raspberry Pi Zero 플랫폼에서 증류된 모델은 교사 모델 대비 37.65%의 에너지 소비를 절감하였다.
• Raspberry Pi Zero에서 570 mAh 배터리를 사용할 경우, 증류된 모델은 7.86시간의 배터리 수명을 확보하였고, 교사 모델은 5.71시간이었다.
• Kendryte K210에서 증류된 모델은 16.29시간의 배터리 수명을 기록하여, 더 낮은 대기 모드 전력 소모로 인해 뚜렷한 에너지 절감 효과를 보였다.
• Raspberry Pi Zero에서는 3초 분량의 ECG 세그먼트에 대해 720ms 내로 실시간 추론을 수행하였고, Kendryte K210에서는 1,036ms 내로 수행되어 연속 모니터링이 가능했다.
• PULP 기반 초저전력 플랫폼을 추가로 최적화할 경우, 배터리 수명은 91.33시간으로 연장될 수 있어 향후 웨어러블 시스템의 확장성 잠재력을 보여주었다.