[논문 리뷰] MI-BMInet: An Efficient Convolutional Neural Network for Motor Imagery Brain--Machine Interfaces with EEG Channel Selection

Xiaying Wang, Michael Hersche외 2명|arXiv (Cornell University)|2022. 03. 28.

EEG and Brain-Computer Interfaces인용 수 9

한 줄 요약

이 논문은 모터 이미지 뇌-기계 인터페이스를 위한 경량형 컨볼루션 네트워크인 MI-BMInet을 제안하며, 초저전력 마이크로컨트롤러 유닛(MCU)에서 10개의 EEG 채널, 30 µJ/인퍼런스, 2.95 ms 지연 시간으로 82.51%의 정확도를 달성한다. 공간 필터 기반 채널 선택, 8비트 정밀도 양자화, 하드웨어 인식 모델 설계를 조합함으로써 실시간이고 에너지 효율적인 엣지 인퍼런스를 가능하게 하여, 임베디드 BMI 시스템에서 정확도, 자원 효율성, 전력 소모 측면에서 새로운 최고 성능 기준을 설정한다.

ABSTRACT

A brain--machine interface (BMI) based on motor imagery (MI) enables the control of devices using brain signals while the subject imagines performing a movement. It plays a vital role in prosthesis control and motor rehabilitation. To improve user comfort, preserve data privacy, and reduce the system's latency, a new trend in wearable BMIs is to execute algorithms on low-power microcontroller units (MCUs) embedded on edge devices to process the electroencephalographic (EEG) data in real-time close to the sensors. However, most of the classification models present in the literature are too resource-demanding, making them unfit for low-power MCUs. This paper proposes an efficient convolutional neural network (CNN) for EEG-based MI classification that achieves comparable accuracy while being orders of magnitude less resource-demanding and significantly more energy-efficient than state-of-the-art (SoA) models for a long-lifetime battery operation. To further reduce the model complexity, we propose an automatic channel selection method based on spatial filters and quantize both weights and activations to 8-bit precision with negligible accuracy loss. Finally, we implement and evaluate the proposed models on leading-edge parallel ultra-low-power (PULP) MCUs. The final 2-class solution consumes as little as 30 uJ/inference with a runtime of 2.95 ms/inference and an accuracy of 82.51% while using 6.4x fewer EEG channels, becoming the new SoA for embedded MI-BMI and defining a new Pareto frontier in the three-way trade-off among accuracy, resource cost, and power usage.

연구 동기 및 목표

• 웨어러블 뇌-기계 인터페이스(BMI)를 위한 초저전력 마이크로컨트롤러 유닛(MCU)에서 구동 가능한 초경량 딥 러닝 모델을 개발하여 모터 이미지(MI) 분류 성능을 극대화하는 것.
• 임베디드 BMI 시스템에서 정확도, 계산 자원 사용량, 전력 소모 간의 핵심적 상충 관계를 해결하는 것.
• 분류 정확도를 손상시키지 않은 채 자동 EEG 채널 선택 및 혼합 정밀도 양자화를 통해 모델 복잡도와 에너지 소비를 감소시키는 것.
• 엣지 장치에서 데이터 수집 및 처리 전력 소비를 최소화하여 최대 22시간의 배터리 수명을 확보하는 것.
• 최신 세대 PULP MCU에서 실시간, 현장에서의 인퍼런스를 실현하며, 지연 시간(2.95 ms/인퍼런스)과 에너지 소비(30 µJ/인퍼런스)를 최소화하는 것.

제안 방법

• 초저전력 MCU에 최적화된 경량 컨볼루션 신경망(CNN) 아키텍처인 MI-BMInet을 제안하며, 파rameter 수와 FLOPs를 감소시킨다.
• 공통 공간 패턴 등의 공간 필터 기반 방법을 활용해 가장 정보가 풍부한 전극를 자동으로 선별함으로써 입력 차원을 64채널에서 10채널로 감소시킨다.
• 학습 후 양자화를 적용하여 가중치와 활성화를 모두 8비트 정수 정밀도로 변환함으로써 메모리 사용량과 계산 비용을 크게 감소시키며 정확도 손실는 최소화한다.
• 공간 특징 추출을 시간적 컨볼루션 이전에 수행함으로써 네트워크의 연산 순서를 재구성함으로써 모델 복잡도를 감소시키고 인퍼런스 속도를 향상시킨다.
• 하드웨어 인식 컴파일링 및 메모리 최적화 기법을 활용하여 최종 모델을 병렬 초저전력(PULP) MCU(Mr. Wolf 및 Vega 등)에 배포한다.
• 두 단계 처리 파이프라인을 적용한다: (1) 차원 감소 및 노이즈 억제를 위한 공간 필터링, (2) 깊이 분리형 1D 컨볼루션을 통한 시간적 특징 추출 및 분류.

실험 결과

연구 질문

• RQ1 경량형 CNN이 초저전력 MCU에서 구동 가능한 동시에 EEG 기반 모터 이미지 분류에서 최고 성능 기준을 달성할 수 있는가?
• RQ2 공간 필터 기반 자동 EEG 채널 선택이 분류 성능을 저하시키지 않은 채 모델 복잡도와 전력 소모를 얼마나 효과적으로 줄일 수 있는가?
• RQ3 8비트 양자화가 최소한의 하드웨어 오버헤드로 실시간 임베디드 BMI 시스템에서 정확도를 얼마나 잘 유지할 수 있는가?
• RQ4 모델 아키텍처, 양자화, 하드웨어 배포를 공동 최적화할 때 정확도, 에너지 효율성, 인퍼런스 지연 간의 타당한 트레이드오���은 무엇인가?
• RQ5 제안된 시스템이 10개의 EEG 채널과 10 mW 미만의 전력 소비로 연속 작동 시 20시간 이상의 배터리 수명을 확보할 수 있는가?

주요 결과

• 최종 2클래스 MI-BMInet 모델은 BCI 경연 대회 IV 데이터셋에서 82.51%의 분류 정확도를 달성하며, 성능 측면에서 기존 최고 수준의 모델과 동등하거나 이를 초월한다.
• 시스템은 PULP MCU에서 인퍼런스당 에너지 소비가 단 30 µJ로, 이는 이전 임베디드 모델 대비 100배 감소한 것이다.
• 인퍼런스 지연 시간은 1개 샘플당 2.95 ms로 단축되어 실시간 운영이 가능하며, 온라인 BMI 응용 분야에 적합하다.
• 표준 64채널이 아닌 10개의 EEG 채널만을 사용함으로써 데이터 수집 전력 소비가 최대 84% 감소하고, 배터리 수명은 3.8시간에서 22시간으로 연장된다.
• 공간 필터 기반 채널 선택과 8비트 양자화의 조합으로 기존 최고 수준의 모델 대비 메모리 사용량은 10배 감소하고 계산 복잡도는 3배 감소한다.
• Mr. Wolf 및 Vega MCU에 대한 구현 결과, 모델이 외부 메모리 없이 현재 세대 초저전력 플랫폼에서 배포 가능하며, 장기간에 걸친 프라이버시 보호형 현장 내 처리가 가능하다.