[論文レビュー] ConTraNet: A single end-to-end hybrid network for EEG-based and EMG-based human machine interfaces

Omair Ali, Muhammad Saif-ur-Rehman+3 more|arXiv (Cornell University)|Jun 21, 2022

EEG and Brain-Computer Interfaces被引用数 4

ひとこと要約

ConTraNetは、エンド・トゥ・エンドのハイブリッド深層学習アーキテクチャであり、畳み込みニューラルネットワーク（CNNs）とトランスフォーマーを組み合わせ、生のEEGおよびEMG信号を共同で分類する。このモデルは、3つの公開されたEEG-HMIおよびEMG-HMIデータセットにおいて、2クラス、3クラス、4クラス、10クラスの複数のデコーディングタスクで最先端のモデルを上回り、タスク固有の適応なしに、異なるバイオシグナルに対して強固な汎用性を示している。

ABSTRACT

Objective: Electroencephalography (EEG) and electromyography (EMG) are two non-invasive bio-signals, which are widely used in human machine interface (HMI) technologies (EEG-HMI and EMG-HMI paradigm) for the rehabilitation of physically disabled people. Successful decoding of EEG and EMG signals into respective control command is a pivotal step in the rehabilitation process. Recently, several Convolutional neural networks (CNNs) based architectures are proposed that directly map the raw time-series signal into decision space and the process of meaningful features extraction and classification are performed simultaneously. However, these networks are tailored to the learn the expected characteristics of the given bio-signal and are limited to single paradigm. In this work, we addressed the question that can we build a single architecture which is able to learn distinct features from different HMI paradigms and still successfully classify them. Approach: In this work, we introduce a single hybrid model called ConTraNet, which is based on CNN and Transformer architectures that is equally useful for EEG-HMI and EMG-HMI paradigms. ConTraNet uses CNN block to introduce inductive bias in the model and learn local dependencies, whereas the Transformer block uses the self-attention mechanism to learn the long-range dependencies in the signal, which are crucial for the classification of EEG and EMG signals. Main results: We evaluated and compared the ConTraNet with state-of-the-art methods on three publicly available datasets which belong to EEG-HMI and EMG-HMI paradigms. ConTraNet outperformed its counterparts in all the different category tasks (2-class, 3-class, 4-class, and 10-class decoding tasks). Significance: The results suggest that ConTraNet is robust to learn distinct features from different HMI paradigms and generalizes well as compared to the current state of the art algorithms.

研究の動機と目的

• EEGベースおよびEMGベースのヒューマンマシンインターフェース（HMI）タスクを両方処理できる統合された深層学習アーキテクチャの開発。
• 既存のモデルが単一のバイオシグナルモダリティに特化しており、異種パラダイム間の汎用性に欠けているという制限を解決すること。
• 生のバイオシグナルにおいて、局所的な空間的・時間的特徴（CNNによる抽出）と長距離依存性（トランスフォーマーの自己注意機構によるモデリング）を同時に抽出すること。
• 手作業による特徴工学的設計を一切行わず、生の時系列EEGおよびEMG信号からエンド・トゥ・エンドで学習を可能にすること。
• 多様なHMIデコーディングタスク（2クラスから10クラス）におけるモデルの頑健性と汎用性を評価すること。

提案手法

• モデルは、生のEEGおよびEMG信号を並列に処理するための共有CNNおよびトランスフォーマー・ブロックを有するデュアルブランチアーキテクチャを採用している。
• CNNブロックは、短い信号セグメントから空間的に相関するパターンを学習することで、インダクティブバイアスを導入する。
• トランスフォーマー・ブロック内の自己注意機構は、複雑な神経および筋肉シグナルを分類するために重要な長距離時間的依存性を捉える。
• 生の信号を直接制御命令にマップするために、交差エントロピー損失を用いてエンド・トゥ・エンドで訓練される。
• 両モダリティからの特徴表現が統合され、分類のための共有意思決定空間に投影される。
• アーキテクチャはシグナルモダリティに依存しないように設計されており、EEG-HMIおよびEMG-HMIタスクの両方で単一モデルによる展開が可能である。

実験結果

リサーチクエスチョン

• RQ1 単一の深層学習モデルが、モダリティ固有の適応なしにEEGおよびEMG信号の両方から特徴を効果的に学習・分類できるか。
• RQ2 CNNとトランスフォーマーの統合が、多様なHMIタスクにおける分類性能をどのように向上させるか。
• RQ3 ハイブリッドアーキテクチャは、複数のクラスデコーディングタスクにおいて、モダリティ固有のモデルよりも優れた汎用性を示すか。
• RQ4 自己注意機構は、EEGおよびEMGシグナルにおける長距離依存性のモデリングをどの程度向上させるか。
• RQ5 生の時系列信号からのエンド・トゥ・エンド訓練は、手作業による特徴設計を含む従来のパイプラインを上回る性能を発揮できるか。

主な発見

• ConTraNetは、全テストデータセットで優れた分類精度を達成し、すべての評価設定で最先端のモデルを上回った。
• 2クラス、3クラス、4クラス、10クラスのデコーディングタスクにおいて、EEG-HMIおよびEMG-HMIの両パラダイムで一貫した性能向上を示した。
• ConTraNetは強力な汎用性を示し、異なるシグナルモダリティおよびタスクの複雑さに対しても高い精度を維持した。
• アブレーションスタディにより、CNNおよびトランスフォーマー両方のコンponentsが性能向上に顕著に寄与しており、特にトランスフォーマーが長距離依存性を捉える上で重要な役割を果たしていることが確認された。
• エンド・トゥ・エンドの訓練戦略により、モダリティ固有のファインチューニングやアーキテクチャの変更を必要とせず、効果的な共同特徴学習が可能になった。