[論文レビュー] Many-to-One Knowledge Distillation of Real-Time Epileptic Seizure Detection for Low-Power Wearable Internet of Things Systems

Saleh Baghersalimi, Alireza Amirshahi+4 more|arXiv (Cornell University)|Jul 20, 2022

EEG and Brain-Computer Interfaces被引用数 8

ひとこと要約

本論文は、低消費電力ウェアラブルIoTシステム向けに、多バイオシグナル（EEG+ECG）ディープニューラルネットワークを単一ECGモデルに圧縮するmany-to-one知識蒸留フレームワークを提案する。高精度なマルチモーダル教師ネットワークから軽量な学生ネットワークへ知識を転送することで、教師モデルの98.5％の性能を達成しつつ、37.65％の低いエネルギー消費で実現し、エッジデバイス上で長期間にわたり快適で実用的なてんかん発作検出を可能にする。

ABSTRACT

Integrating low-power wearable Internet of Things (IoT) systems into routine health monitoring is an ongoing challenge. Recent advances in the computation capabilities of wearables make it possible to target complex scenarios by exploiting multiple biosignals and using high-performance algorithms, such as Deep Neural Networks (DNNs). There is, however, a trade-off between performance of the algorithms and the low-power requirements of IoT platforms with limited resources. Besides, physically larger and multi-biosignal-based wearables bring significant discomfort to the patients. Consequently, reducing power consumption and discomfort is necessary for patients to use IoT devices continuously during everyday life. To overcome these challenges, in the context of epileptic seizure detection, we propose a many-to-one signals knowledge distillation approach targeting single-biosignal processing in IoT wearable systems. The starting point is to get a highly-accurate multi-biosignal DNN, then apply our approach to develop a single-biosignal DNN solution for IoT systems that achieves an accuracy comparable to the original multi-biosignal DNN. To assess the practicality of our approach to real-life scenarios, we perform a comprehensive simulation experiment analysis on several state-of-the-art edge computing platforms, such as Kendryte K210 and Raspberry Pi Zero.

研究の動機と目的

• 長期間のてんかん発作モニタリングに向けた、多バイオシグナルウェアラブルIoTシステムにおける高い消費電力と患者の不快感の課題に対処する。
• 実世界のIoT医療アプリケーションにおけるマルチセンサ導入に伴うシステムの複雑さと同期問題を軽減する。
• 複雑なマルチモーダルDNNと同等の高い検出精度を維持する、軽量な単一バイオシグナル（ECGのみ）ディープラーニングモデルを開発する。
• リアルタイムで継続的な監視が可能な、Raspberry Pi Zero や Kendryte K210 などの低消費電力エッジプラットフォームへの実用的導入を可能にする。
• 顕著な性能の妥協なしに、ウェアラブルIoTデバイスのエネルギー効率とバッテリーライフを最適化する。

提案手法

• EEGとECG信号のそれぞれに別個の1D残差ネットワークを用いて、検出精度を最大化するマルチモーダル教師ネットワークを訓練する。
• 推論時にECG信号のみを処理する学生モデルへ、教師モデルの知識を知識蒸留により転送する。
• ソフトラベル蒸留と交差エントロピー損失を用い、学生モデルの出力分布を教師モデルと一致させ、高レベルのパターンを保持する。
• 低消費電力エッジプラットフォームに適した最小限のパラメータ数と推論遅延を実現するよう、学生モデル（Distilled Res1DCNN）を最適化する。
• リアルタイムでのエネルギー監視のもと、Raspberry Pi Zero や Kendryte K210 といった実際のエッジデバイス上で、蒸留モデルの評価を実施する。
• プラットフォームごとにエネルギー消費、推論遅延、バッテリーライフを測定・比較し、効率性の向上を検証する。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留を用いることで、多バイオシグナルてんかん発作検出モデルを単一ECGモデルに圧縮しても、顕著な精度損失なしに効果的に実現可能か？
• RQ2 低消費電力エッジプラットフォーム上での元のマルチモーダルDNNと比較して、蒸留された単一ECGモデルはどの程度エネルギー消費を削減できるか？
• RQ3 実際のウェアラブルIoTハードウェア上でのバッテリーライフにおいて、蒸留モデルは教師モデルと比べてどの程度優れているか？
• RQ4 蒸留モデルにおいて、検出性能（感度、特異度）とエネルギー効率のトレードオフはどのようなものか？
• RQ5 Kendryte K210 などの超低消費電力エッジデバイス上でも、蒸留モデルはリアルタイム推論を維持できるか？

主な発見

• 蒸留されたRes1DCNN学生モデルは、感度98.5％、特異度98.7％を達成し、マルチモーダル教師ネットワークと比較してそれぞれ1.5％および1.3％の低下にとどまる。
• Raspberry Pi Zero プラットフォーム上では、教師モデルと比較してエネルギー消費を37.65％削減した。
• Raspberry Pi Zero では、570 mAhのバッテリを用いて、教師モデルが5.71時間のバッテリーライフを達成するのに対し、蒸留モデルは7.86時間のバッテリーライフを実現した。
• Kendryte K210 では、蒸留モデルが16.29時間のバッテリーライフを達成し、より低いアイドルモード消費電力のおかげで顕著なエネルギー節約効果を示した。
• Raspberry Pi Zero では3秒のECGセグメントを720 msでリアルタイム推論を実現し、Kendryte K210 では1,036 msで継続的監視を可能にした。
• PULPベースの超低消費電力プラットフォームをさらに最適化することで、バッテリーライフは91.33時間にまで延長可能であり、将来的なウェアラブルシステムへのスケーラビリティを示している。