[論文レビュー] A Novel Deep Learning Architecture for Decoding Imagined Speech from EEG

Jerrin Thomas Panachakel, A. G. Ramakrishnan+1 more|arXiv (Cornell University)|Mar 19, 2020

EEG and Brain-Computer Interfaces参考文献 16被引用数 24

ひとこと要約

本稿では、想像語りの分類のための訓練データを増やすために、個々のEEGチャネルを独立したデータベクトルとして扱う新しい深層学習アーキテクチャを提案する。CSP（共通空間パターン）によるチャネル選択、DWT（離散ウェーブレット変換）による特徴抽出、および多数決による分類を組み合わせた手法により、ASUの想像語りデータセット上で71.8% ± 8.6%の平均精度を達成し、EEGベースの言語復元におけるDNNの低データ環境下での実現可能性を示した。

ABSTRACT

The recent advances in the field of deep learning have not been fully utilised for decoding imagined speech primarily because of the unavailability of sufficient training samples to train a deep network. In this paper, we present a novel architecture that employs deep neural network (DNN) for classifying the words "in" and "cooperate" from the corresponding EEG signals in the ASU imagined speech dataset. Nine EEG channels, which best capture the underlying cortical activity, are chosen using common spatial pattern (CSP) and are treated as independent data vectors. Discrete wavelet transform (DWT) is used for feature extraction. To the best of our knowledge, so far DNN has not been employed as a classifier in decoding imagined speech. Treating the selected EEG channels corresponding to each imagined word as independent data vectors helps in providing sufficient number of samples to train a DNN. For each test trial, the final class label is obtained by applying a majority voting on the classification results of the individual channels considered in the trial. We have achieved accuracies comparable to the state-of-the-art results. The results can be further improved by using a higher-density EEG acquisition system in conjunction with other deep learning techniques such as long short-term memory.

研究の動機と目的

• EEGからの想像語り復元における深層学習の訓練データが限られているという課題に対処すること。
• EEGベースの脳-コンピュータインターフェースにおける低データ環境下で深層ニューラルネットワーク（DNN）を分類器として使用する可能性を検討すること。
• 選択されたEEGチャネルを独立した入力ベクトルとして扱うことで、有効な訓練サンプル数を増加させることで分類性能を向上させること。
• 提案されたアーキテクチャをASUの想像語りデータセット上で検証し、'in' と 'cooperate' の二値分類を実施すること。

提案手法

• クラス間分散を最大化するために、各試行ごとに判別力が最も高い9つのEEGチャネルを共通空間パターン（CSP）法で選択する。
• 選択された各チャネルに離散ウェーブレット変換（DWT）を適用し、9つのチャネルそれぞれに対して12次元の特徴ベクトルを抽出する。
• 各試行において、最も判別力の高いチャネル（最大空間フィルタ出力）と最も低いチャネル（最小空間フィルタ出力）のDWT特徴を連結することで、9つの24次元特徴ベクトルを形成する。
• 4層の全結合層（各40ニューロン）、ReLUおよび双曲正接活性化関数、バッチ正則化、ドロップアウト（それぞれ10%および30%）を備えた深層ニューラルネットワーク（DNN）を24次元特徴ベクトル上で学習する。
• 最終的な分類は、各試行ごとに9つのチャネル固有のDNN出力の多数決によって実施する。
• データ漏洩を防ぐために、厳密なデータ分割を実施した10分割交差検証を用い、各試行のすべてのチャネルが同じセット（訓練またはテスト）に属するようにする。

実験結果

リサーチクエスチョン

• RQ1 想像語り復元における深層学習の訓練データを増やすために、個々のEEGチャネルを独立したデータベクトルとして扱うことが有効に機能するか？
• RQ2 従来の手法（例：SVM、ELM、RVM）と比較して、本手法のDNNベース分類器はEEG信号からの想像語りの分類においてどのように性能を発揮するか？
• RQ3 CSPによるチャネル選択とDWTによる特徴抽出が、低データの想像語りシナリオにおける分類精度に与える影響は何か？
• RQ4 チャネル固有のDNN予測の多数決戦略は、EEGベースの言語復元における耐性と精度を向上させるか？
• RQ5 限られた訓練データの状況下で、深層学習が想像語り復元にどの程度効果的に応用可能か？

主な発見

• 提案手法は4名の被験者（S1, S5, S8, S9）において71.8% ± 8.6%の平均交差検証精度を達成し、CSP+SVM や統計的特徴+ELM といった複数のベースライン手法を上回った。
• 被験者S9は86.2% ± 8.7%の最高精度を記録し、個々の被験者としての優れた性能を示した一方、S8は71.0% ± 5.3%の最低精度を示した。
• 本手法の精度（71.8% ± 8.6%）は、最先端のTangent + RVM法（2）の77.6% ± 5.7%には及ばないが、依然として強力な競争力を持つ性能を示した。
• 想像語り復元におけるDNNを分類器として使用することが裏付けられ、限られた訓練データの下でも本アーキテクチャの実現可能性が示された。
• 本アプローチはスケーラブルであり、128チャネルなどの高密度EEGシステムが導入されれば、訓練データ量が増加し、より複雑なモデルの適用が可能になると予想される。
• 多数決戦略は個々のチャネルからの予測を効果的に統合し、耐性を高め、全体の精度向上に寄与した。