[論文レビュー] Improving semantic understanding in speech language models via brain-tuning

Omer Moussa, Dietrich Klakow+1 more|arXiv (Cornell University)|Oct 11, 2024

Speech and dialogue systems被引用数 4

ひとこと要約

本論文では、自然な物語を聴いている際の個々人のfMRI記録を用いて事前学習済み音声言語モデルを微調整する「ブレインチューニング」を紹介する。トレーニング中に脳活動データを組み込むことで、人間の脳領域との意味的整合性が著しく向上し、低レベルの音声特徴への依存が軽減され、多様な下流の意味的タスクにおける性能も向上する。これは、脳にインスパイアされたトレーニングが脳に類似した表現と現実世界のモデル性能の両方を向上させることを示す、初めての一致する証拠である。

ABSTRACT

Speech language models align with human brain responses to natural language to an impressive degree. However, current models rely heavily on low-level speech features, indicating they lack brain-relevant semantics which limits their utility as model organisms of semantic processing in the brain. In this work, we address this limitation by inducing brain-relevant bias directly into the models via fine-tuning with fMRI recordings of people listening to natural stories, a process we name brain-tuning. After testing it on 3 different pretrained model families, we show that brain-tuning not only improves overall alignment with new brain recordings in semantic language regions, but also reduces the reliance on low-level speech features for this alignment. Excitingly, we further show that brain-tuning leads to 1) consistent improvements in performance on a range of downstream tasks and 2) a representational space with increased semantic preference. Our results provide converging evidence, for the first time, that incorporating brain signals into the training of language models improves the models' semantic understanding.

研究の動機と目的

• 現在の音声言語モデルが、脳活動と強い整合性を示すにもかかわらず、低レベルの音声特徴に強く依存しているという限界を是正すること。
• fMRI記録を用いて、脳に関連する意味的バイアスを事前学習済み音声モデルに直接組み込む手法を開発すること。
• ブレインチューニングが意味的脳領域との整合性を向上させ、低レベル特徴への依存を軽減し、意味的下流タスクの性能を向上させるかどうかを評価すること。
• 脳の整合性の向上が、神経科学的評価を超えたモデルの実用的利点にどのように結びつくかを実証すること。

提案手法

• 参加者が自然な物語を聴いている際のfMRI記録を用いて、3つの事前学習済み音声言語モデルファミリーを微調整する。
• 意味的言語領域におけるモデル活性化とfMRI活動の差を最小化する損失関数を用いて、モデルをエンドツーエンドで訓練する。
• 自然言語入力に対する脳応答と一致するようにモデル表現を促進するブレインチューニング目的関数を用いる。
• ブレインチューニングの結果を、事前学習済みの対応モデルと2つのベースライン（ブロックごとに並べ替えられたfMRIデータを用いたブレインチューニングと、より大きなモデル表現を用いた微調整）と比較する。
• 意味的脳領域における新しいfMRIデータとの整合性を評価し、低レベル特徴（例：トライフォン、発音）の影響を測定し、5つの意味的下流タスクにおける性能を測定する。
• モデルの後段層における表現の類似性と意味的好みを分析して、表現空間の変化を評価する。

(a) Proposed brain-tuning approach

実験結果

リサーチクエスチョン

• RQ1 ブレインチューニングは、意味的脳領域における音声言語モデルとfMRI記録との間の整合性を向上させるか？
• RQ2 ブレインチューニングは、脳の整合性を達成するための低レベル音声特徴（例：トライフォン、発音）への依存を軽減するか？
• RQ3 ブレインチューニングは、意味的理解を要する下流タスクにおいて測定可能な性能向上をもたらすか？
• RQ4 ブレインチューニングされたモデルの表現空間は、意味的好みが高まっているか？
• RQ5 ブレインチューニングによる性能向上は、脳信号の組み込みによるものであり、他の微調整戦略でも再現可能か？

主な発見

• ブレインチューニングは、テストされた3つのモデルファミリーすべてにおいて、新しいfMRI記録と意味的言語領域との間の整合性を顕著に向上させた。
• この手法は、トライフォンや発音などの低レベル音声特徴が意味的脳領域との整合性に与える影響を顕著に軽減し、脳に関連する意味的特徴へのシフトを示している。
• ブレインチューニングされたモデルは、意味的理解を要する5つの下流タスクすべてで一貫した顕著な性能向上を示した。これは、意味的難易度が異なるタスクに対しても同様に有効であることを示している。
• テストされたモデルファミリーの1つであるWhisperは、ブレインチューニングを経て、すべてのタスクでほぼベースラインから強力な性能にまで向上した。これは、本手法の広範な適用可能性を示している。
• ブレインチューニングされたモデルの表現空間は、特に後段層で意味的好みが高まっていることが確認され、より意味的意味を持つ表現へのシフトが裏付けられた。
• 性能向上は、元の学習データ量の0.7%未満のデータ量で達成されており、ブレインチューニング手法の高いデータ効率性を示している。

(b) Approach to estimate brain alignment and low-level feature impact