[論文レビュー] Extracting the Locus of Attention at a Cocktail Party from Single-Trial EEG using a Joint CNN-LSTM Model.

Ivine Kuruvila, Jan Muncke+2 more|arXiv (Cornell University)|Feb 8, 2021

EEG and Brain-Computer Interfaces参考文献 28被引用数 6

ひとこと要約

本稿では、1回の試行におけるEEG信号とマルチスプーカーのスペクトログラムを分析することで、カクテルパーティー環境における聴覚的注意を推定する共同CNN-LSTMモデルを提案する。3秒間の平均デコード精度は77.2%に達し、スパarsityに強く、50%までのマグニチュードプルーニングに対しても性能を維持する。

ABSTRACT

Human brain performs remarkably well in segregating a particular speaker from interfering speakers in a multi-speaker scenario. It has been recently shown that we can quantitatively evaluate the segregation capability by modelling the relationship between the speech signals present in an auditory scene and the cortical signals of the listener measured using electroencephalography (EEG). This has opened up avenues to integrate neuro-feedback into hearing aids whereby the device can infer user's attention and enhance the attended speaker. Commonly used algorithms to infer the auditory attention are based on linear systems theory where the speech cues such as envelopes are mapped on to the EEG signals. Here, we present a joint convolutional neural network (CNN) - long short-term memory (LSTM) model to infer the auditory attention. Our joint CNN-LSTM model takes the EEG signals and the spectrogram of the multiple speakers as inputs and classifies the attention to one of the speakers. We evaluated the reliability of our neural network using three different datasets comprising of 61 subjects where, each subject undertook a dual-speaker experiment. The three datasets analysed corresponded to speech stimuli presented in three different languages namely German, Danish and Dutch. Using the proposed joint CNN-LSTM model, we obtained a median decoding accuracy of 77.2% at a trial duration of three seconds. Furthermore, we evaluated the amount of sparsity that our model can tolerate by means of magnitude pruning and found that the model can tolerate up to 50% sparsity without substantial loss of decoding accuracy.

研究の動機と目的

• マルチスプーカー環境下でのEEG信号から聴覚的注意を推定する深層学習モデルの開発。
• 原始的なEEGおよびスペクトログラム入力を用いたエンドツーエンド学習により、線形モデルを凌駕する。
• 多様なデータセットを用いて、異なる言語間でのモデル一般化を評価する。
• マグニチュードプルーニングによる構造的スパarsity下でのモデルの頑健性を評価する。

提案手法

• 共同畳み込みニューラルネットワーク（CNN）と長短記憶（LSTM）アーキテクチャが、EEG信号と複数スプーカーのスペクトログラムを処理する。
• CNNはEEGからの空間的および時間的特徴を抽出するが、LSTMは神経応答の逐次的依存関係をモデル化する。
• 入力特徴には、ドイツ語、デンマーク語、オランダ語の3言語で構成される二スプーカー音声刺激のEEG時系列とスペクトログラムが含まれる。
• 統合された入力表現に基づき、被験者がどのスプーカーに注意を向けていたかを分類する。
• マグニチュードプルーニングを用いて、パラメータ数を削減しながら精度をモニタリングすることで、モデルの頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 共同CNN-LSTMモデルは、マルチスプーカー状況下の1回の試行におけるEEGから、聴覚的注意を正確にデコードできるか？
• RQ2 二スプーカー実験において、モデルの性能は異なる言語でどのように変化するか？
• RQ3 モデルはどの程度、顕著な精度低下なしに構造的スパarsityに耐えられるか？
• RQ4 共同アーキテクチャは、従来の線形モデルよりも注意デコードにおいて優れているか？

主な発見

• 共同CNN-LSTMモデルは、61名の被験者を対象に3秒間の試行期間で中央値として77.2%のデコード精度を達成した。
• ドイツ語、デンマーク語、オランダ語の3つの異なる言語データセットにおいても高い性能を維持したため、言語間一般化が可能であることが示された。
• マグニチュードプルーニングの結果、50%までのスパarsityに対しても顕著な精度低下がなく、モデルの耐性が確認された。
• これらの結果から、深層学習モデルが1回の試行におけるEEGから聴覚的注意を効果的にデコードでき、リアルタイムの神経フィードバックアプリケーションが可能であると示唆される。