[論文レビュー] EEG2TEXT: Open Vocabulary EEG-to-Text Decoding with EEG Pre-Training and Multi-View Transformer

Hanwen Liu, Daniel Hajialigol+3 more|arXiv (Cornell University)|May 3, 2024

EEG and Brain-Computer Interfaces被引用数 4

ひとこと要約

EEG2Textは、EEG事前学習とマルチビュー変換器を活用することで、意味的表現とデコード精度を向上させる、新しいオープンボキャブラリー型EEGからテキストへの変換モデルを提案する。マスク処理を施した生EEG信号を事前学習し、マルチビュー変換器で空間的脳領域をモデル化することで、最先端の性能を達成し、従来手法に比べてBLEUおよびROUGEスコアで最大5%の絶対的向上を達成した。

ABSTRACT

Deciphering the intricacies of the human brain has captivated curiosity for centuries. Recent strides in Brain-Computer Interface (BCI) technology, particularly using motor imagery, have restored motor functions such as reaching, grasping, and walking in paralyzed individuals. However, unraveling natural language from brain signals remains a formidable challenge. Electroencephalography (EEG) is a non-invasive technique used to record electrical activity in the brain by placing electrodes on the scalp. Previous studies of EEG-to-text decoding have achieved high accuracy on small closed vocabularies, but still fall short of high accuracy when dealing with large open vocabularies. We propose a novel method, EEG2TEXT, to improve the accuracy of open vocabulary EEG-to-text decoding. Specifically, EEG2TEXT leverages EEG pre-training to enhance the learning of semantics from EEG signals and proposes a multi-view transformer to model the EEG signal processing by different spatial regions of the brain. Experiments show that EEG2TEXT has superior performance, outperforming the state-of-the-art baseline methods by a large margin of up to 5% in absolute BLEU and ROUGE scores. EEG2TEXT shows great potential for a high-performance open-vocabulary brain-to-text system to facilitate communication.

研究の動機と目的

• 大規模で多様なボキャブラリーにおいて低性能にとどまる、正確なオープンボキャブラリー型EEGからテキストへの変換の課題に対処すること。
• 眼球追跡のキャリブレーションに依存する従来手法の限界を克服し、誤差を低減するとともに汎用性を向上させること。
• マスク処理を施した生EEG入力に対してエンドツーエンドで事前学習することで、生EEG信号の意味的表現を向上させること。
• マルチビュー変換器アーキテクチャを用いて、脳信号処理を異なる空間的領域でモデル化することで、デコード性能を向上させること。
• 文レベルのEEG信号のみを用いて自然言語コミュニケーションを可能にする汎用的で非侵襲的な脳-テキストシステムを開発すること。

提案手法

• 長くノイズの多い生EEG信号を処理するため、基本的な畳み込み変換器モデルを用い、局所的およびグローバルな時間的・空間的特徴を抽出する。
• 生EEG信号のランダムなセグメントをマスクし、元の信号を再構築するように学習する事前学習目的を実装することで、意味的学習を強化する。
• 各ビューが脳の別々の空間的領域に対応するマルチビュー変換器アーキテクチャを導入し、領域別に信号処理を可能にする。
• マルチビュー構成における各ビューのバックボーンとして事前学習済み変換器を活用し、共有および特化した特徴を通じて表現学習を向上させる。
• マルチビューEEG表現を条件として、自己回帰的テキスト生成に事前学習済みBARTモデルを統合する。
• テキスト生成におけるBLEUおよびROUGEスコアの最適化を目的として、シーケンス・トゥ・シーケンスの目的関数に基づき、モデル全体をエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 生EEG信号に対するEEG事前学習は、オープンボキャブラリー型EEGからテキストへの変換における意味的表現学習を改善できるか？
• RQ2 一元的な統合表現と比較して、複数の空間的脳領域によるEEG信号モデリングは、デコード性能をどのように向上させるか？
• RQ3 提案されたEEG2Textモデルは、既存の最先端手法に比べて、どの程度オープンボキャブラリー型EEGからテキストへの翻訳で優れているか？
• RQ4 眼球追跡による特徴抽出に依存せずに、非侵襲的EEGベースのシステムが高精度を達成できるか？
• RQ5 事前学習とマルチビュー注意機構の統合は、多様で現実世界のテキスト入力に対して、より優れた汎用性とロバストネスをもたらすか？

主な発見

• EEG2Textは、オープンボキャブラリー型EEGからテキストへの変換において最先端の性能を達成し、最良のベースライン手法に比べてBLEUおよびROUGEスコアで最大5%の絶対的向上を達成した。
• 提案されたEEG事前学習戦略は、特にリソースが限られた環境やオープンボキャブラリー設定において、生EEG信号からの意味的表現の学習能力を顕著に向上させた。
• マルチビュー変換器アーキテクチャは、領域特有の神経動態を捉えることで性能を向上させ、より正確で文脈に即したテキスト生成を実現した。
• モデルは、眼球追跡のキャリブレーションに依存しない文レベルのEEG入力のみで動作するため、内発的発話や自然な読解シナリオへの適用性が向上し、強力な汎用性を示した。
• アブレーションスタディの結果、EEG事前学習とマルチビュー注意の両方が、全体の性能向上に顕著に寄与することが確認された。
• 同様に、同義語や発音が似た言葉を含む多様な言語的パターンに対しても、モデルは高い性能を維持しており、困難なデコードシナリオにおけるロバストネスを示した。