[論文レビュー] An Accurate EEGNet-based Motor-Imagery Brain-Computer Interface for Low-Power Edge Computing

Xiaying Wang, Michael Hersche+4 more|arXiv (Cornell University)|Mar 31, 2020

EEG and Brain-Computer Interfaces参考文献 20被引用数 9

ひとこと要約

本論文は、ARM Cortex-Mマイコン上で低消費電力エッジコンピューティングを想定した最適化されたEEGNetベースのモーター・イメージレーション脳-コンピュータインターフェース（MI-BCI）を提案する。時間的ダウンサンプリング、チャネル数の削減、分類ウィンドウの短縮を適用することで、2クラスタスクで82.43%の精度を達成し、メモリ使用量を7.6倍削減、精度低下は0.31%に抑え、組み込みMCU上でリアルタイムで動作する、ウェアラブルでエネルギー効率の良いBCIの実装を可能にした。

ABSTRACT

This paper presents an accurate and robust embedded motor-imagery brain-computer interface (MI-BCI). The proposed novel model, based on EEGNet, matches the requirements of memory footprint and computational resources of low-power microcontroller units (MCUs), such as the ARM Cortex-M family. Furthermore, the paper presents a set of methods, including temporal downsampling, channel selection, and narrowing of the classification window, to further scale down the model to relax memory requirements with negligible accuracy degradation. Experimental results on the Physionet EEG Motor Movement/Imagery Dataset show that standard EEGNet achieves 82.43%, 75.07%, and 65.07% classification accuracy on 2-, 3-, and 4-class MI tasks in global validation, outperforming the state-of-the-art (SoA) convolutional neural network (CNN) by 2.05%, 5.25%, and 5.48%. Our novel method further scales down the standard EEGNet at a negligible accuracy loss of 0.31% with 7.6x memory footprint reduction and a small accuracy loss of 2.51% with 15x reduction. The scaled models are deployed on a commercial Cortex-M4F MCU taking 101ms and consuming 4.28mJ per inference for operating the smallest model, and on a Cortex-M7 with 44ms and 18.1mJ per inference for the medium-sized model, enabling a fully autonomous, wearable, and accurate low-power BCI.

研究の動機と目的

• 低消費電力マイコンユニット（MCUs）に適した、堅牢で正確かつエネルギー効率の良いMI-BCIモデルの開発。
• 制限されたRAMと計算能力を有するリソース制約のある組み込みシステムに、複雑なCNNをデプロイする課題への対処。
• リアルタイムでウェアラブルBCIアプリケーションに適した高精度分類を維持しつつ、メモリ容量とエネルギー消費を最小限に抑えること。
• Cortex-M4FおよびM7の商用MCU上で、遅延、消費電力、精度の正確な測定を伴い、モデル性能を評価すること。
• 実世界のBCI利用事例における継続的MI分類を実現する、完全に自律的でデバイス内での推論を可能にすること。

提案手法

• コアモデルは、EEG信号分類に最適化された軽量CNNアーキテクチャであるEEGNetに基づく。
• 時間的ダウンサンプリングを適用して入力信号の時間分解能を低下させ、特徴マップのサイズとメモリ使用量を削減する。
• チャネル選択により、EEGチャネル数を64から38に削減し、空間的入力次元を最小限に抑える。
• 分類ウィンドウを4秒から1〜2秒に短縮することで、時間的文脈を縮小し、さらにメモリ容量を削減する。
• モデルの量子化とプルーニング技術は、アーキテクチャの単純化を通じて暗黙的に適用され、特徴マップの保存効率に焦点を当てる。
• 最終的なモデルは、STM32CubeMXおよびX-CUBE-AIを用いてARM Cortex-M4FおよびM7 MCUsにデプロイされ、パフォーマンス最適化のため命令キャッシュおよびデータキャッシュを有効化している。

実験結果

リサーチクエスチョン

• RQ1 EEGNetベースのモデルは、低消費電力MCUにデプロイ可能である一方で、MI-BCIタスクで最先端の精度を達成できるか？
• RQ2 時間的ダウンサンプリング、チャネル数の削減、ウィンドウの短縮によって、モデルサイズとメモリ容量をどれだけ削減できるか？その際、精度の著しい低下を伴わないか？
• RQ3 Cortex-M4FおよびM7プロセッサにMI-BCIモデルをデプロイする際、精度、推論遅延、エネルギー消費のトレードオフはどのように変化するか？
• RQ4 組み込みMCU上で、100ms未満の遅延と1インスタンスあたり5mJ未満のエネルギー消費を達成するリアルタイムでデバイス内でのMI分類が可能か？
• RQ5 異なるMCUアーキテクチャ（M4F対M7）は、組み込みMI-BCIモデルのパフォーマンスとエネルギー効率にどのように影響を与えるか？

主な発見

• 標準的なEEGNetモデルは、2クラス、3クラス、4クラスのMIタスクにおいて、それぞれ82.43%、75.07%、65.07%のグローバル検証精度を達成し、最先端のCNN（SoA）をそれぞれ2.05%、5.25%、6.49%上回った。
• 提案されたモデルの縮小技術により、Cortex-M7上で7.6倍のメモリ容量削減が達成され、精度低下はわずか0.31%にとどまり、最もコンパクトなモデルのデプロイが可能になった。
• Cortex-M4Fでは、最小モデルが1インスタンスあたり4.28 mJのエネルギー消費で101 msで処理を完了し、62.51%の精度を達成した。
• Cortex-M7では、中規模モデルが44 msで処理を完了し、1インスタンスあたり18.1 mJのエネルギー消費で64.76%の精度を達成した。これは、フルモデルと比較して2.51%の精度低下にとどまった。
• Cortex-M7は、216 MHzで動作するが、Cortex-M4Fに比べて3.1倍の消費電力であるにもかかわらず、4.9倍の低い遅延を達成しており、上位プロセッサの性能優位性を示した。
• 本研究は、これらのMCU上でMI-BCI推論を包括的に評価する初の試みであり、実際の組み込みデプロイにおいて、精度、遅延、エネルギーの測定を統合した。