[論文レビュー] Constrained Variational Autoencoder for improving EEG based Speech Recognition Systems

Gautam Krishna, Co Tran+2 more|arXiv (Cornell University)|Jun 1, 2020

EEG and Brain-Computer Interfaces被引用数 4

ひとこと要約

本論文は、生のEEG信号から意味的で次元が低いEEG表現を学習するため、再帰的ニューラルネットワークアーキテクチャを備えた制約付き変分オートエンコーダー（VAE）を提案する。この手法は、EEGベースの連続的および分離型音声認識の性能を顕著に向上させる。従来の手法に比べて優れた性能を示し、語彙サイズが増加するにつれて顕著になる。連続的および分離型音声認識の両タスクにおいて、限定語彙データセットでも優れた性能を発揮する。

ABSTRACT

In this paper we introduce a recurrent neural network (RNN) based variational autoencoder (VAE) model with a new constrained loss function that can generate more meaningful electroencephalography (EEG) features from raw EEG features to improve the performance of EEG based speech recognition systems. We demonstrate that both continuous and isolated speech recognition systems trained and tested using EEG features generated from raw EEG features using our VAE model results in improved performance and we demonstrate our results for a limited English vocabulary consisting of 30 unique sentences for continuous speech recognition and for an English vocabulary consisting of 2 unique sentences for isolated speech recognition. We compare our method with another recently introduced method described by authors in [1] to improve the performance of EEG based continuous speech recognition systems and we demonstrate that our method outperforms their method as vocabulary size increases when trained and tested using the same data set. Even though we demonstrate results only for automatic speech recognition (ASR) experiments in this paper, the proposed VAE model with constrained loss function can be extended to a variety of other EEG based brain computer interface (BCI) applications.

研究の動機と目的

• 脳インターフェースにおける音声認識の分野で、ノイズが多く次元が高いために困難なEEG信号の課題に対処すること。
• 深層表現学習を用いてEEGベースの自動音声認識（ASR）システムの性能を向上させること。
• 標準VAEよりも意味的により明確なEEG特徴を生成する制約付きVAEを開発すること。
• 提案手法の有効性を、連続的および分離型音声認識タスクの両方で示すこと。
• 本モデルを、他のEEGベースの脳インターフェース（BCI）アプリケーションへの応用可能性を広げること。

提案手法

• 生のEEGシーケンスにおける時間的依存性をモデル化するため、再帰的ニューラルネットワークに基づく変分オートエンコーダー（RNN-VAE）を設計する。
• 潜在空間を正則化するための新しい制約付き損失関数を導入し、分離可能で意味的な表現を促進する。
• 再パラメータライゼーションを用いて、生のEEG入力に条件付けられた潜在変数の事後分布を学習する。これにより、エンドツーエンドの学習が可能になる。
• 構造的インダクティブバイアスを組み込むことで、学習された特徴における分離性と一般化性能を向上させる。
• 下流のASRタスクに適したコンactで判別力のあるEEG埋め込みを生成するために、VAEをファインチューニングする。
• 本手法は、30の連続文と2つの分離文を含む2つのASRベンチマークで評価される。

実験結果

リサーチクエスチョン

• RQ1 RNNアーキテクチャを備えた制約付きVAEは、標準VAEよりも生のEEG信号からより意味的で分離可能な表現を学習できるか？
• RQ2 提案手法はEEGベースの連続的および分離型音声認識システムにおける認識精度を向上させるか？
• RQ3 提案手法の性能は、語彙サイズの増加に伴って従来手法と比較してどのように変化するか？
• RQ4 学習されたEEG特徴は、さまざまな音声認識タスクに一般化可能であり、他のBCIアプリケーションに拡張可能か？
• RQ5 制約付き損失関数は、学習された潜在表現の質および判別可能性にどのような影響を与えるか？

主な発見

• 提案された制約付きVAEは、EEG信号を用いた連続的および分離型音声認識タスクの両方で、顕著に認識性能を向上させる。
• 語彙サイズが増加するにつれて、[1]で述べられた最近のベースライン手法よりも顕著に優れた性能を示す。
• 30文の語彙を有する連続的音声認識では、ベースラインより高い認識精度を達成する。
• 2文の語彙を有する分離型音声認識では、生成されたEEG特徴を用いて、頑健な性能を示す。
• 制約付き損失関数は、より分離可能で意味的な潜在表現をもたらし、下流のASR性能を向上させる。
• 本モデルのアーキテクチャとトレーニング方式は、音声認識を越えた他のEEGベースのBCIアプリケーションにも一般化可能である。