[논문 리뷰] Improving semantic understanding in speech language models via brain-tuning

Omer Moussa, Dietrich Klakow외 1명|arXiv (Cornell University)|2024. 10. 11.

Speech and dialogue systems인용 수 4

한 줄 요약

이 논문은 개인이 자연스러운 이야기를 듣는 동안 기록된 fMRI 데이터를 사용하여 사전 훈련된 음성 언어 모델을 미세조정하는 '뇌-튜닝(brain-tuning)' 방법을 소개한다. 훈련 중 뇌 활동 데이터를 통합함으로써, 이 방법은 인간의 뇌 영역과의 의미적 일치도를 크게 향상시키고, 저수준의 음성 특징에 대한 의존도를 줄이며, 다양한 후행 의미 작업에서 성능을 향상시킨다. 이는 뇌 기반 훈련이 뇌 유사 표현과 실제 모델 성능 모두를 향상시킨다는 최초의 통합적 증거를 제공한다.

ABSTRACT

Speech language models align with human brain responses to natural language to an impressive degree. However, current models rely heavily on low-level speech features, indicating they lack brain-relevant semantics which limits their utility as model organisms of semantic processing in the brain. In this work, we address this limitation by inducing brain-relevant bias directly into the models via fine-tuning with fMRI recordings of people listening to natural stories, a process we name brain-tuning. After testing it on 3 different pretrained model families, we show that brain-tuning not only improves overall alignment with new brain recordings in semantic language regions, but also reduces the reliance on low-level speech features for this alignment. Excitingly, we further show that brain-tuning leads to 1) consistent improvements in performance on a range of downstream tasks and 2) a representational space with increased semantic preference. Our results provide converging evidence, for the first time, that incorporating brain signals into the training of language models improves the models' semantic understanding.

연구 동기 및 목표

• 현재의 음성 언어 모델이 뇌와의 강한 일치를 보이지만, 저수준의 음성 특징에 크게 의존하고 있다는 한계를 해결하기 위해.
• fMRI 기록을 사용하여 뇌 관련 의미적 편향을 사전 훈련된 음성 모델에 직접 통합하는 방법을 개발하기 위해.
• 뇌-튜닝이 의미적 뇌 영역과의 일치도를 향상시키고, 저수준 특징에 대한 의존도를 줄이며, 의미 기반 후행 작업에서 성능을 향상시키는지 평가하기 위해.
• 향상된 뇌 일치도가 뉴런 과학 평가를 넘어서 실제 모델 활용도 향상으로 이어지는지 입증하기 위해.

제안 방법

• 참가자가 자연스러운 이야기를 듣는 동안 기록된 fMRI 데이터를 사용하여 세 가지 사전 훈련된 음성 언어 모델 패밀리의 미세조정을 수행한다.
• 모델 활성화와 의미 언어 영역의 fMRI 활동 간의 차이를 최소화하는 손실을 사용하여 모델을 종합적으로 훈련한다.
• 모델 표현이 자연어 입력에 대한 뇌 반응과 일치하도록 유도하는 뇌-튜닝 목표를 사용한다.
• 뇌-튜닝된 모델를 사전 훈련된 대조군과 두 가지 기준군(블록-퍼미uted fMRI 데이터로 수행된 뇌-튜닝 및 더 큰 모델 표현을 사용한 미세조정)과 비교한다.
• 의미적 뇌 영역에서 새로운 fMRI 데이터와의 일치도를 평가하고, 저수준 특징(예: 트라이포네, 발음)의 영향을 분석하며, 5개의 의미 기반 후행 작업에서의 성능을 측정한다.
• 모델의 후행 레이어에서 표현 유사도와 의미 선호도를 분석하여 표현 공간의 변화를 평가한다.

(a) Proposed brain-tuning approach

실험 결과

연구 질문

• RQ1 뇌-튜닝은 의미적 뇌 영역에서 음성 언어 모델과 fMRI 기록 간의 일치도를 향상시키는가?
• RQ2 뇌-튜닝은 뇌 일치도를 달성하기 위해 저수준 음성 특징에 대한 모델의 의존도를 줄이는가?
• RQ3 뇌-튜닝은 의미 이해가 필요한 후행 작업에서 측정 가능한 성능 향상을 이끌어내는가?
• RQ4 뇌-튜닝된 모델의 표현 공간은 증가한 의미 선호도를 보이는가?
• RQ5 뇌-튜닝의 성능 향상 효과는 뇌 신호의 포함 덕분인가, 아니면 다른 미세조정 전략으로도 재현 가능한가?

주요 결과

• 뇌-튜닝은 테스트된 세 가지 모델 패밀리 전반에서 새로운 fMRI 기록과의 의미적 뇌 영역에서의 일치도를 유의미하게 향상시켰다.
• 이 방법은 트라이포네, 발음과 같은 저수준 음성 특징이 의미적 뇌 영역과의 일치도에 미치는 영향을 크게 줄여, 뇌 관련 의미로의 전환을 시사한다.
• 뇌-튜닝된 모델는 의미 이해가 필요한 다섯 가지 후행 작업에서 일관되고 유의미한 성능 향상을 보였다. 이는 의미 난이도가 다양한 작업에서도 성능 향상이 이루어졌음을 의미한다.
• 테스트된 모델 패밀리 중 하나인 Whisper는 뇌-튜닝 이후 모든 작업에서 근본적인 성능에서 강력한 성능으로 향상되었으며, 이는 뇌-튜닝의 광범위한 적용 가능성을 시사한다.
• 뇌-튜닝된 모델의 표현 공간은 특히 후행 레이어에서 증가한 의미 선호도를 보였으며, 이는 더 의미적인 표현으로의 전환을 확인한다.
• 원래 훈련 데이터 크기의 0.7% 미만으로도 성과를 달성하여, 뇌-튜닝 방법의 높은 샘플 효율성을 입증한다.

(b) Approach to estimate brain alignment and low-level feature impact