[論文レビュー] MI-BMInet: An Efficient Convolutional Neural Network for Motor Imagery Brain--Machine Interfaces with EEG Channel Selection

Xiaying Wang, Michael Hersche+2 more|arXiv (Cornell University)|Mar 28, 2022

EEG and Brain-Computer Interfaces被引用数 9

ひとこと要約

本稿では、モーターイメージネーション脳機械インターフェース（BMI）向けに、わずか10チャネルのEEGで82.51%の精度、1インフェレンスあたり30 µJ、超低消費電力マイコン（MCU）上での遅延2.95 msを達成する軽量なCNN、MI-BMInetを提案する。空間フィルタに基づくチャネル選択、8ビット固定小数点精度への量子化、ハードウェアに配慮したモデル設計を組み合わせることで、リアルタイムでエネルギー効率の高いエッジ推論を実現し、埋め込みBMIシステムにおける精度、リソース効率、消費電力の分野で新たな最先端水準を確立した。

ABSTRACT

A brain--machine interface (BMI) based on motor imagery (MI) enables the control of devices using brain signals while the subject imagines performing a movement. It plays a vital role in prosthesis control and motor rehabilitation. To improve user comfort, preserve data privacy, and reduce the system's latency, a new trend in wearable BMIs is to execute algorithms on low-power microcontroller units (MCUs) embedded on edge devices to process the electroencephalographic (EEG) data in real-time close to the sensors. However, most of the classification models present in the literature are too resource-demanding, making them unfit for low-power MCUs. This paper proposes an efficient convolutional neural network (CNN) for EEG-based MI classification that achieves comparable accuracy while being orders of magnitude less resource-demanding and significantly more energy-efficient than state-of-the-art (SoA) models for a long-lifetime battery operation. To further reduce the model complexity, we propose an automatic channel selection method based on spatial filters and quantize both weights and activations to 8-bit precision with negligible accuracy loss. Finally, we implement and evaluate the proposed models on leading-edge parallel ultra-low-power (PULP) MCUs. The final 2-class solution consumes as little as 30 uJ/inference with a runtime of 2.95 ms/inference and an accuracy of 82.51% while using 6.4x fewer EEG channels, becoming the new SoA for embedded MI-BMI and defining a new Pareto frontier in the three-way trade-off among accuracy, resource cost, and power usage.

研究の動機と目的

• ウェアラブル脳機械インターフェース（BMI）向けに、超低消費電力マイコン（MCU）にデプロイ可能な、モーターイメージネーション（MI）分類のための高効率なディープラーニングモデルを開発すること。
• 埋め込みBMIシステムにおける精度、計算リソース使用量、消費電力の間の重要なトレードオフを解決すること。
• 分類精度を損なわずに、自動EEGチャネル選択とミックス精度量子化を用いてモデルの複雑さとエネルギー消費を低減すること。
• エッジデバイスでのデータ取得および処理の消費電力を最小限に抑えることで、長時間のバッテリ駆動（最大22時間）を可能にすること。
• 最新のPULP MCU上で、リアルタイムのデバイス内推論（1インフェレンスあたり2.95 msの遅延、30 µJ/インフェレンスの最小エネルギー消費）を実現すること。

提案手法

• パrameter数とFLOPsを削減した、超低消費電力MCUに特化した新しい軽量畳み込みニューラルネットワーク（CNN）アーキテクチャ—MI-BMInet—を提案する。
• 共通空間パターン（CSP）などの空間フィルタに基づく自動EEGチャネル選択法を導入し、入力次元を64から10チャネルに削減する。
• トレーニング後の量子化を重みと活性化の両方に適用し、8ビット固定小数点精度にすることで、メモリ容量と計算コストを顕著に削減しつつ、精度の損失は最小限に抑えられる。
• 空間特徴抽出を時間畳み込みの前に行うことでネットワークの処理順序を再構成し、モデルの複雑さを低減するとともに推論速度を向上させる。
• ハードウェアに配慮したコンパイルおよびメモリ最適化技術を用いて、並列型超低消費電力（PULP）MCU（例：Mr. WolfおよびVega）に最終モデルをデプロイする。
• 2段階処理パイプラインを採用する：(1) 次元削減とノイズ抑制のための空間フィルタリング、その後に(2) 深さ方向可分1次元畳み込みを用いた時間的特徴抽出と分類。

実験結果

リサーチクエスチョン

• RQ1 軽量なCNNは、超低消費電力MCUにデプロイ可能でありながら、EEGベースのモーターイメージネーション分類で最先端の精度を達成できるか？
• RQ2 空間フィルタに基づく自動EEGチャネル選択は、分類性能を劣化させることなく、モデルの複雑さと消費電力をどれほど効果的に低減できるか？
• RQ3 8ビット量子化は、最小限のハードウェアオーバーヘッドで、リアルタイムの埋め込みBMIシステムにおける精度をどの程度保持できるか？
• RQ4 モデルアーキテクチャ、量子化、ハードウェアデプロイメントを共同最適化した場合、精度、エネルギー効率、推論遅延の間で達成可能なトレードオフはどの程度か？
• RQ5 提案されたシステムは、10チャネルのEEGと10 mW未満の消費電力で、連続稼働時に20時間以上のバッテリライフを達成できるか？

主な発見

• 最終的な2クラスMI-BMInetモデルは、BCIコンペティションIVデータセットで82.51%の分類精度を達成し、性能面で既存の最先端モデルと同等またはそれを上回った。
• PULP MCU上でのインフェレンスエネルギー消費はわずか1インフェレンスあたり30 µJであり、従来の埋め込みモデルと比較して100倍のエネルギー削減を実現した。
• 1サンプルあたりの推論遅延は2.95 msにまで短縮され、オンラインBMIアプリケーションに適したリアルタイム動作を可能にした。
• 標準的な64チャネルではなく、わずか10チャネルのEEGを使用することで、データ取得の消費電力を最大84%削減し、バッテリライフを3.8時間から22時間に延長した。
• 空間フィルタベースのチャネル選択と8ビット量子化の組み合わせにより、メモリ容量は10分の1、計算複雑度は3分の1にまで削減され、既存の最先端モデルと比較して顕著な改善が得られた。
• Mr. WolfおよびVega MCUsへの実装により、オフチップメモリを必要とせず、最新世代の超低消費電力プラットフォームにモデルをデプロイ可能であることが確認され、長期間にわたるプライバシー保護型のデバイス内動作が実現した。