[논문 리뷰] An Accurate EEGNet-based Motor-Imagery Brain-Computer Interface for Low-Power Edge Computing

Xiaying Wang, Michael Hersche외 4명|arXiv (Cornell University)|2020. 03. 31.

EEG and Brain-Computer Interfaces참고 문헌 20인용 수 9

한 줄 요약

이 논문은 ARM Cortex-M 마이크로컨트롤러에서 저전력 엣지 컴퓨팅을 위한 최적화된 EEGNet 기반의 운동상상 뇌컴퓨터인터페이스(MI-BCI)를 제안한다. 시간적 다운샘플링, 채널 수 감소 및 분류 윈도우 축소를 적용하여, 2클래스 작업에서 82.43%의 정확도를 달성했으며, 메모리 사용량은 7.6배 감소하고 정확도 손실은 0.31%에 그쳐, 임베디드 MCU에서 실시간, 웨어러블, 에너지 효율적인 BCI 구현을 가능하게 한다.

ABSTRACT

This paper presents an accurate and robust embedded motor-imagery brain-computer interface (MI-BCI). The proposed novel model, based on EEGNet, matches the requirements of memory footprint and computational resources of low-power microcontroller units (MCUs), such as the ARM Cortex-M family. Furthermore, the paper presents a set of methods, including temporal downsampling, channel selection, and narrowing of the classification window, to further scale down the model to relax memory requirements with negligible accuracy degradation. Experimental results on the Physionet EEG Motor Movement/Imagery Dataset show that standard EEGNet achieves 82.43%, 75.07%, and 65.07% classification accuracy on 2-, 3-, and 4-class MI tasks in global validation, outperforming the state-of-the-art (SoA) convolutional neural network (CNN) by 2.05%, 5.25%, and 5.48%. Our novel method further scales down the standard EEGNet at a negligible accuracy loss of 0.31% with 7.6x memory footprint reduction and a small accuracy loss of 2.51% with 15x reduction. The scaled models are deployed on a commercial Cortex-M4F MCU taking 101ms and consuming 4.28mJ per inference for operating the smallest model, and on a Cortex-M7 with 44ms and 18.1mJ per inference for the medium-sized model, enabling a fully autonomous, wearable, and accurate low-power BCI.

연구 동기 및 목표

• 저전력 마이크로컨트롤러 유닛(MCU)에 배포 가능한 견고하고 정확하며 에너지 효율적인 MI-BCI 모델을 개발하기 위해.
• 제한된 RAM과 계산 능력을 가진 자원이 제한된 임베디드 시스템에 복잡한 CNN을 배포하는 데 도전하는 데에.
• 실시간 웨어러블 BCI 응용 프로그램을 위해 고정밀도 분류 정확도를 유지하면서 메모리 프로파일과 에너지 소비를 최소화하기 위해.
• Cortex-M4F 및 M7와 같은 상용 MCU에서 정밀한 지연, 전력, 정확도 측정을 통해 모델 성능을 평가하기 위해.
• 실세계 BCI 응용 사례에서 지속적인 MI 분류를 위한 완전 자율적이고 장치 내에서의 추론을 가능하게 하기 위해.

제안 방법

• 핵심 모델은 뇌전도파형 신호 분류에 최적화된 경량 CNN 아키텍처인 EEGNet 기반이다.
• 시간적 다운샘플링을 적용하여 입력 신호의 시간 해상도를 낮춰 특징 맵 크기와 메모리 사용량을 감소시킨다.
• 채널 선택을 통해 EEG 채널 수를 64개에서 38개로 줄여 공간적 입력 차원을 최소화한다.
• 분류 윈도우를 4초에서 1~2초로 축소하여 시간적 맥락을 줄이고, 메모리 프로파일을 추가로 축소한다.
• 모델 양자화 및 정제 기법은 아키텍처 단순화를 통해 암묵적으로 적용되며, 주로 특징 맵 저장 효율성에 집중한다.
• 최종 모델들은 STM32CubeMX와 X-CUBE-AI를 사용하여 ARM Cortex-M4F 및 M7 MCUs에 배포되며, 성능 최적화를 위해 명령어 및 데이터 캐시를 활성화한다.

실험 결과

연구 질문

• RQ1 EEGNet 기반 모델이 저전력 MCU에 배포 가능한 동시에 MI-BCI 작업에서 최신 기술 수준의 정확도를 달성할 수 있는가?
• RQ2 시간적 다운샘플링, 채널 수 감소 및 윈도우 축소를 통해 모델 크기와 메모리 프로파일을 얼마나 줄일 수 있으며, 정확도 저하 없이 유지할 수 있는가?
• RQ3 Cortex-M4F 및 M7 프로세서에 MI-BCI 모델을 배포할 경우 정확도, 추론 지연, 에너지 소비 간의 상호 상충 관계는 어떠한가?
• RQ4 임베디드 MCU에서 100ms 이내의 지연과 1회 추론당 5mJ 이내의 에너지 소비를 달성할 수 있는가?
• RQ5 다른 MCU 아키텍처(M4F 대 M7)는 임베디드 MI-BCI 모델의 성능과 에너지 효율성에 어떤 영향을 미치는가?

주요 결과

• 표준 EEGNet 모델은 2-, 3-, 4-클래스 MI 작업에서 각각 82.43%, 75.07%, 65.07%의 전역 검증 정확도를 달성했으며, 최신 기술 수준의 CNN보다 각각 2.05%, 5.25%, 6.49% 높은 성능을 보였다.
• 제안된 모델 단순화 기법을 통해 Cortex-M7에서 메모리 프로파일이 7.6배 감소했고, 정확도 손실은 0.31%에 그쳐 가장 컴팩트한 모델의 배포가 가능했다.
• Cortex-M4F에서 가장 작은 모델은 1회 추론당 4.28 mJ의 에너지를 소비하고 101 ms 내에 완료되었으며, 정확도는 62.51%였다.
• Cortex-M7에서는 중간 크기의 모델이 44 ms 내에 실행되었고, 1회 추론당 18.1 mJ의 에너지를 소비하며 64.76%의 정확도를 달성했으며, 전체 모델 대비 2.51%의 정확도 손실을 보였다.
• Cortex-M7는 216 MHz에서 Cortex-M4F 대비 4.9배 낮은 지연을 기록했으며, 전력 소비는 3.1배 높아 고성능 MCU의 성능 우월성을 입증했다.
• 본 연구는 이러한 MCU에서 MI-BCI 추론에 대한 최초의 종합적 평가를 제공하며, 실질적인 임베디드 배포 환경에서 정확도, 지연, 에너지 측정을 통합적으로 분석했다.