[論文レビュー] Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot Sentiment Classification

Zhenhailong Wang, Heng Ji|arXiv (Cornell University)|Dec 5, 2021

EEG and Brain-Computer Interfaces被引用数 4

ひとこと要約

本稿では、非侵襲的EEG信号から完全な英語文を復号するための新しいオープンボキャブラリーEEG-テキスト復号フレームワークを提案する。事前学習済み言語モデル（例：BART）を微調整して使用し、40.1%のBLEU-1スコアを達成するとともに、ラベルなしで感情分類をゼロショットで行うことができ、F1スコアは55.6%に達した。これは教師ありベースラインを著しく上回り、被験者やデータソースをまたいで一般化する能力を示している。

ABSTRACT

State-of-the-art brain-to-text systems have achieved great success in decoding language directly from brain signals using neural networks. However, current approaches are limited to small closed vocabularies which are far from enough for natural communication. In addition, most of the high-performing approaches require data from invasive devices (e.g., ECoG). In this paper, we extend the problem to open vocabulary Electroencephalography(EEG)-To-Text Sequence-To-Sequence decoding and zero-shot sentence sentiment classification on natural reading tasks. We hypothesis that the human brain functions as a special text encoder and propose a novel framework leveraging pre-trained language models (e.g., BART). Our model achieves a 40.1% BLEU-1 score on EEG-To-Text decoding and a 55.6% F1 score on zero-shot EEG-based ternary sentiment classification, which significantly outperforms supervised baselines. Furthermore, we show that our proposed model can handle data from various subjects and sources, showing great potential for a high-performance open vocabulary brain-to-text system once sufficient data is available

研究の動機と目的

• 閉鎖ボキャブラリー脳-テキストシステムの限界を克服し、非侵襲的EEG信号からのオープンボキャブラリー復号を可能にすること。
• 事前学習済み言語モデルが、文脈的・意味的表現を活用して脳信号復号のための効果的なテキストエンコーダーとして機能するかを検討すること。
• ラベルなしの感情分類データを一切使用せず、EEG特徴量のみでゼロショット感情分類を可能にすること。
• 多様な被験者やEEGデータソースにわたる一般化を向上させ、実世界のBCIアプリケーションへのスケーラビリティを高めること。
• 低データ・高ばらつきの脳信号復号状況において、事前学習モデルのトランスファー学習の可能性を示すこと。

提案手法

• EEG特徴量を文脈的な意味的空間に写像するため、マルチレイヤートランスフォーマーエンコーダー（MTE）と併せて、事前学習済みBARTモデルをデコーダーとして微調整する。
• EEGでエンコードされた表現と正解テキストシーケンスを、シーケンス・トゥ・シーケンス学習により一致させるための共同学習目的関数を用いる。
• BARTが持つ豊富な言語的インダクティブバイアス（文構造、意味的関係、長距離依存関係のモデリング）を活用し、EEG-テキストペairedデータが限られている状況を補う。
• 同じ微調整済みモデルを用いて、復号出力のテキストをポジティブ、ネガティブ、ニュートラルの3分類に分類することで、ゼロショット感情分類を実行する。
• 50,265トークンを有する大規模なオープンボキャブラリーBARTトークナイザーを活用し、完全な英語語彙カバレッジを実現する。
• 自然な読解タスクからの非侵襲的EEG記録を含む、複数の被験者およびデータソースからのEEGデータを用いて学習および評価を行う。

実験結果

リサーチクエスチョン

• RQ1 BARTのような事前学習済み言語モデルは、非侵襲的EEG信号からオープンボキャブラリーのテキストを効果的に復号できるか？
• RQ2 提案フレームワークは、微調整なしに異なる被験者やEEGデータソースに一般化できるか？
• RQ3 ラベルなしの感情分類データを一切使用せず、EEG入力のみでゼロショットの文単位感情分類が可能か？
• RQ4 マルチレイヤートランスフォーマーエンコーダー（MTE）と事前学習済み言語モデルの重みの導入が、復号性能にどのように影響するか？
• RQ5 訓練データに存在しない未知語や文に対し、モデルはどの程度一般化できるか？

主な発見

• 提案フレームワークは、オープンボキャブラリーEEG-テキスト復号で40.1%のBLEU-1スコアを達成し、教師ありベースラインを著しく上回った。
• ゼロショットEEGベースの3値感情分類ではF1スコアが55.6%に達し、強力なゼロショット一般化能力を示した。
• アブレーションスタディの結果、事前学習済みBART重みとマルチレイヤートランスフォーマーエンコーダー（MTE）の両方が不可欠であることが確認され、いずれかを除去すると性能が著しく低下した。
• 被験者やEEGデータソースを問わず、効果的に一般化しており、被験者間およびデータソース間のばらつきに対して強いロバストネスを示した。
• 訓練語彙に含まれない意味的に関連する語の復号に成功し、閉鎖ボキャブラリー制約を越えた一般化が実現した。
• 結果から、事前学習言語モデルが低データ・高ばらつきの脳信号復号タスクにおいて強力なインダクティブバイアスとして機能できることが示唆された。