[論文レビュー] Neural networks based EEG-Speech Models

Pengfei Sun, Jun Qin|arXiv (Cornell University)|Dec 16, 2016

EEG and Brain-Computer Interfaces参考文献 20被引用数 27

ひとこと要約

本稿では、3つのモデル（NES-I、NES-B、NES-G）を用いて想像されたEEG信号を音素にマッピングするエンド・ツー・エンドのニューラルネットワークフレームワークを提案する。言語モデルに基づくEEG特徴抽出、制限ボルツマンマシン（RBMs）を用いた深層特徴学習、および話されたEEGをバイアスまたはゲート信号として統合することで、NES-Gモデルは、2値分類および多値分類の両タスクにおいてSVMおよび深層信念ネットワーク（DBN）を上回り、11音素における全体の正解率41.5％を達成した。

ABSTRACT

In this paper, we propose an end-to-end neural network (NN) based EEG-speech (NES) modeling framework, in which three network structures are developed to map imagined EEG signals to phonemes. The proposed NES models incorporate a language model based EEG feature extraction layer, an acoustic feature mapping layer, and a restricted Boltzmann machine (RBM) based the feature learning layer. The NES models can jointly realize the representation of multichannel EEG signals and the projection of acoustic speech signals. Among three proposed NES models, two augmented networks utilize spoken EEG signals as either bias or gate information to strengthen the feature learning and translation of imagined EEG signals. Experimental results show that all three proposed NES models outperform the baseline support vector machine (SVM) method on EEG-speech classification. With respect to binary classification, our approach achieves comparable results relative to deep believe network approach.

研究の動機と目的

• 従来の特徴抽出手法の限界を克服し、想像されたEEG信号を音素にマッピングするエンド・ツー・エンドのニューラルネットワークフレームワークを開発すること。
• マルチモーダル統合を通じて、多チャンネルEEG信号と音声特徴を共同でモデリングすることにより、EEG-スピーチ分類を向上させること。
• ノイズやアーチファクトの干渉を低減するため、話されたEEG信号を条件付け要因（バイアスまたはゲート）として組み込むことで、想像されたEEGの特徴表現を向上させること。
• RBMsやエンド・ツー・エンド学習を活用した深層学習技術を用いて、EEGベースのスピーチ認識で優れた性能を達成すること。
• EEGと音声特徴の共同学習が、浅い特徴に基づくSVM手法よりも優れた音素分類を実現することを示すこと。

提案手法

• NESフレームワークは、チャネル間相関をモデル化し、多チャンネルEEGから深層表現を抽出するため、言語モデルに基づくEEG特徴抽出層を用いる。
• 制限ボルツマンマシン（RBM）層を用いて、非教師あり事前学習と特徴学習を実施し、EEGアーチファクトへの耐性を向上させる。
• 音声プロジェクション層は、学習されたEEG特徴を共有の音声特徴空間にマッピングし、マルチモーダル統合を可能にする。
• 3つのモデルを構築した：NES-I（想像EEGのみ）、NES-B（話されたEEGをバイアスとして使用）、NES-G（話されたEEGをゲートとして使用）、後者はファクタードRBM学習を用いて学習を改善した。
• 教師ありおよび教師なしの目的関数を用いてエンド・ツー・エンドでモデルを学習し、分類のためのソフトマックス層を追加した。
• KARA ONEデータセット（14名の参加者、11種類の音素カテゴリ）を用い、平均、分散、スペクトルエントロピー、微分値などの特徴を含む。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドのニューラルネットワークフレームワークは、表現学習の向上を図りながら、想像されたEEG信号を音素に効果的にマッピングできるか？
• RQ2 話されたEEG信号をバイアスまたはゲート情報として組み込むことで、想像されたEEG信号の特徴学習および分類精度が向上するか？
• RQ3 提案されたNESモデルは、従来のSVMおよび深層信念ネットワーク（DBN）ベースラインと比較して、EEG-スピーチ分類でどのように異なるか？
• RQ4 EEGと音声の特徴を共同で表現することで、音素レベルのタスクにおける分類性能はどの程度向上するか？
• RQ5 提案されたモデルは、音声エンVELOPを回復でき、多値分類における音素認識で高い正解率を達成できるか？

主な発見

• NES-Gモデルは11音素における全体の分類正解率が41.5％に達し、SVMマルチベースラインを著しく上回った。
• 音素 /uw/ では、NES-Gモデルが58％の正解率を達成したのに対し、SVMマルチベースラインは24％であった。
• すべての音素カテゴリにおいて、NES-GモデルはNES-IおよびNES-Bを上回り、話されたEEGをゲート信号として使用する有効性を示した。
• 2値分類において、NES-Gモデルは深層信念ネットワークと同等の性能を示し、優れた一般化能力を示した。
• 誤分類の混同行列から、音声的に類似した音素（例：/uw/ と /m/）が混同されていることが判明し、より多様な訓練データがあればモデル性能が向上する可能性がある。
• RBMsによる深層特徴学習と、言語モデルに基づくEEG特徴抽出により、従来の浅い特徴（平均、分散、エントロピーなど）よりも顕著に表現が向上した。