[論文レビュー] Brain2Word: Decoding Brain Activity for Language Generation

Nicolas Affolter, Béni Egressy+2 more|arXiv (Cornell University)|Sep 10, 2020

Topic Modeling参考文献 27被引用数 14

ひとこと要約

本論文では、固定された語彙からの特定の語へとfMRIスキャンを直接分類するニューラルオートエンコーダーモデル「Brain2Word」を提案する。未学習の被験者において、Top-1正解率5.22%、Top-5正解率13.59%を達成し、ベースラインを著しく上回る。さらに、復号化された語がGPT-2による一貫性がありトピック関連の高いテキスト生成を可能にすることを示し、脳活動を自然言語に変換するという目標を前進させる。

ABSTRACT

Brain decoding, understood as the process of mapping brain activities to the stimuli that generated them, has been an active research area in the last years. In the case of language stimuli, recent studies have shown that it is possible to decode fMRI scans into an embedding of the word a subject is reading. However, such word embeddings are designed for natural language processing tasks rather than for brain decoding. Therefore, they limit our ability to recover the precise stimulus. In this work, we propose to directly classify an fMRI scan, mapping it to the corresponding word within a fixed vocabulary. Unlike existing work, we evaluate on scans from previously unseen subjects. We argue that this is a more realistic setup and we present a model that can decode fMRI data from unseen subjects. Our model achieves 5.22% Top-1 and 13.59% Top-5 accuracy in this challenging task, significantly outperforming all the considered competitive baselines. Furthermore, we use the decoded words to guide language generation with the GPT-2 model. This way, we advance the quest for a system that translates brain activities into coherent text.

研究の動機と目的

• 既存の脳復号化モデルが被験者固有の前処理に依存し、未学習の被験者に一般化できないという制限に対処すること。
• fMRIスキャンを訓練中にテスト被験者データにアクセスせずに離散語に直接分類する、より現実的で挑戦的な評価設定を提案すること。
• 大規模言語モデルを復号化された脳信号で条件づけることで、脳復号化と実用的言語生成を橋渡しすること。
• fMRI復号化が一貫性があり関連性の高いテキスト生成を効果的に誘導できるかを検証すること。

提案手法

• 固定語彙内のv個の事前に定義された語のいずれかに、全fMRIスキャンを直接マップするニューラルオートエンコーダーモデルを訓練する。
• 最小限の外部知識としての領域（ROIs）のみを用い、被験者間で一般化可能な特徴を学習可能にする。
• n−1名の被験者のfMRIデータを用いた自己教師あり事前学習ステージを導入し、未学習被験者への一般化を向上させる。
• fMRIスキャンから復号化された上位5語をアングラーティンクンとして用い、GPT-2の言語生成をトピックの一貫性を保つように条件づける。
• 1回の実行あたり30語を生成し、困惑度、語数、関連語の数を指標として、fMRI条件付きと非条件付きの性能を比較する。
• fMRIスキャンごとに10通りのランダムな初期文脈を用い、生成品質とトピック整合性の評価を堅牢にする。

実験結果

リサーチクエスチョン

• RQ1 被験者間の脳解剖学的差異やスキャンアライメントのばらつきがある中で、訓練時に見なかった被験者に対しても、深層学習モデルがfMRIから語への復号化を一般化できるか？
• RQ2 fMRIスキャンを離散語に直接分類するアプローチが、単語埋め込み類似度や対比較分類に基づく既存手法を上回るか？
• RQ3 復号化された脳活動が、GPT-2のような大規模言語モデルを用いて一貫性がありトピック関連の高いテキストを生成するのに有効に機能するか？
• RQ4 fMRI信号から復号化された信号で言語生成を条件づけることで、意味的関連性が向上し、同時に文の流れや困惑度が低下しないか？

主な発見

• 提案手法は、訓練時に見なかった被験者において、固定語彙からの語へのfMRI復号化でTop-1正解率5.22%、Top-5正解率13.59%を達成し、すべてのベースラインを著しく上回る。
• 自己教師あり事前学習と被験者固有の前処理への依存度の低さのおかげで、被験者間での一般化が効果的に実現されている。
• fMRIスキャンから復号化された上位5語を条件として用いた言語生成により、平均語数が0.00（ベースライン）から0.52に、関連語数が0.04から1.02に上昇し、効果的なトピック誘導が確認された。
• 困惑度は、vanilla GPT-2の89.24からfMRIベースのアングラーティンクンを用いた場合の50.64に改善され、ターゲットトピックとの整合性が向上し、低確率語の生成が減少した。
• 定性的な分析から、生成されたテキストは流暢で一貫性があり、適切にアングラーティンクンされた場合にはターゲット語が出力に含まれていることが確認された。
• 結果から、fMRI復号化が言語生成を条件づける信頼できる信号として利用可能であり、リアルタイム脳からテキストへの変換システムへの基盤的段階であることが妥当であると検証された。