[논문 리뷰] ConTraNet: A single end-to-end hybrid network for EEG-based and EMG-based human machine interfaces

Omair Ali, Muhammad Saif-ur-Rehman외 3명|arXiv (Cornell University)|2022. 06. 21.

EEG and Brain-Computer Interfaces인용 수 4

한 줄 요약

ConTraNet은 인간-기계 인터페이스(HMI)를 위한 원시 EEG 및 EMG 신호를 동시에 분류하기 위해 복소신경망(CNNs)과 트랜스포머를 조합한 새로운 엔드 투 엔드 하이브리드 딥 러닝 아키텍처이다. 이는 세 가지 공개된 EEG-HMI 및 EMG-HMI 데이터셋에서 2-, 3-, 4-, 10-클래스 분류 작업 전반에 걸쳐 최신 기술을 초월하며, 작업별 적응 없이 서로 다른 생체신호에 대해 강건한 일반화 능력을 입증한다.

ABSTRACT

Objective: Electroencephalography (EEG) and electromyography (EMG) are two non-invasive bio-signals, which are widely used in human machine interface (HMI) technologies (EEG-HMI and EMG-HMI paradigm) for the rehabilitation of physically disabled people. Successful decoding of EEG and EMG signals into respective control command is a pivotal step in the rehabilitation process. Recently, several Convolutional neural networks (CNNs) based architectures are proposed that directly map the raw time-series signal into decision space and the process of meaningful features extraction and classification are performed simultaneously. However, these networks are tailored to the learn the expected characteristics of the given bio-signal and are limited to single paradigm. In this work, we addressed the question that can we build a single architecture which is able to learn distinct features from different HMI paradigms and still successfully classify them. Approach: In this work, we introduce a single hybrid model called ConTraNet, which is based on CNN and Transformer architectures that is equally useful for EEG-HMI and EMG-HMI paradigms. ConTraNet uses CNN block to introduce inductive bias in the model and learn local dependencies, whereas the Transformer block uses the self-attention mechanism to learn the long-range dependencies in the signal, which are crucial for the classification of EEG and EMG signals. Main results: We evaluated and compared the ConTraNet with state-of-the-art methods on three publicly available datasets which belong to EEG-HMI and EMG-HMI paradigms. ConTraNet outperformed its counterparts in all the different category tasks (2-class, 3-class, 4-class, and 10-class decoding tasks). Significance: The results suggest that ConTraNet is robust to learn distinct features from different HMI paradigms and generalizes well as compared to the current state of the art algorithms.

연구 동기 및 목표

• 원시 EEG 기반 및 EMG 기반 인간-기계 인터페이스(HMI) 작업을 동시에 처리할 수 있는 통합된 딥 러닝 아키텍처를 개발하는 것.
• 기존 모델이 단일 생체신호 모odaliti에 맞춰져 있으며 교차 범주 일반화 능력이 부족한 점을 해결하는 것.
• 원시 생체신호에서 국소적인 시공간적 특징(컨볼루션 네트워크를 통해)과 장거리 의존성(트랜스포머의 자기주의 주목을 통해)을 동시에 추출하는 것.
• 수작업 특징 공학 없이 원시 시계열 EEG 및 EMG 신호에서부터 엔드 투 엔드 학습을 가능하게 하는 것.
• 다양한 HMI 분류 작업(2클래스에서 10클래스까지)에 걸쳐 모델의 강건성과 일반화 능력을 평가하는 것.

제안 방법

• 모델은 원시 EEG 및 EMG 신호를 병렬로 처리하기 위해 공유된 CNN 및 트랜스포머 블록을 갖춘 이중 브랜치 아키텍처를 채택한다.
• CNN 블록은 짧은 신호 세그먼트에서 국소적이고 공간적으로 관련된 패턴을 학습함으로써 인덕티브 바이어스를 도입한다.
• 트랜스포머 블록 내 자기주의 메커니즘은 복잡한 신경 및 근육 신호를 분류하는 데 핵심적인 장거리 시간적 의존성을 포착한다.
• 원시 신호를 직접 제어 명령으로 매핑하기 위해 교차 엔트로피 손실을 사용해 엔드 투 엔드로 네트워크를 훈련시킨다.
• 양 모odaliti의 특징 표현을 융합하고 공유된 결정 공간으로 투영하여 분류를 수행한다.
• 아키텍처는 신호 모달리티에 관계없이 불변하도록 설계되어, EEG-HMI 및 EMG-HMI 작업 전반에 걸쳐 단일 모델 배포가 가능하다.

실험 결과

연구 질문

• RQ1 모달리티에 특화된 적응 없이 단일 딥 러닝 모델이 EEG 및 EMG 신호의 특징을 효과적으로 학습하고 분류할 수 있는가?
• RQ2 CNN과 트랜스포머 구성 요소의 통합이 다양한 HMI 작업 전반에서 분류 성능을 향상시키는 데 어떻게 기여하는가?
• RQ3 하이브리드 아키텍처가 여러 클래스 분류 작업 전반에서 모달리티에 특화된 모델보다 더 우수한 일반화 능력을 보이는가?
• RQ4 자기주의 메커니즘이 EEG 및 EMG 신호의 장거리 의존성 모델링에 얼마나 기여하는가?
• RQ5 원시 시계열 신호에서부터 엔드 투 엔드로 훈련하는 전략이 수작업 특징 공학이 포함된 기존 파ip라인을 초월할 수 있는가?

주요 결과

• ConTraNet은 모든 테스트 데이터셋에서 뛰어난 분류 정확도를 달성했으며, 모든 평가 설정에서 최신 기술 모델을 능가했다.
• 모델은 EEG-HMI 및 EMG-HMI 범주 전반에서 2클래스, 3클래스, 4클래스, 10클래스 분류 작업에서 일관된 성능 향상을 보였다.
• ConTraNet은 다양한 신호 모달리티와 작업 복잡성에 걸쳐 높은 정확도를 유지함으로써 강력한 일반화 능력을 입증했다.
• 추론 실험 결과, CNN 및 트랜스포머 구성 요소 모두 성능 향상에 기여했으며, 특히 트랜스포머가 장거리 의존성을 포착하는 데 핵심적인 역할을 했다.
• 엔드 투 엔드 훈련 전략은 모달리티에 특화된 정밀 조정이나 아키텍처 수정 없이 효과적인 공동 특징 학습을 가능하게 했다.