[논문 리뷰] Self-supervised models of audio effectively explain human cortical responses to speech

Aditya R. Vaidya, Shailee Jain외 1명|arXiv (Cornell University)|2022. 05. 27.

Speech and Audio Processing인용 수 17

한 줄 요약

이 연구는 자율학습 음성 표현 모델(예: wav2vec 2.0, HuBERT)이 청각皮질 전역에서 인간의 fMRI 반응을 예측하는 데 기존의 음성 특징 및 지도 학습 모델보다 뛰어나다는 것을 입증한다. 계층별 표현을 분석함으로써 저항도 SSL 레이어는 주로 청각 피질의 주요 영역에 해당하는 스펙트로템포럴 특징을 인코딩하고, 더 깊은 레이어는 발음 및 의미 정보를 포착함으로써 인간 뇌의 음성 처리에서의 계층적 처리를 반영한다.

ABSTRACT

Self-supervised language models are very effective at predicting high-level cortical responses during language comprehension. However, the best current models of lower-level auditory processing in the human brain rely on either hand-constructed acoustic filters or representations from supervised audio neural networks. In this work, we capitalize on the progress of self-supervised speech representation learning (SSL) to create new state-of-the-art models of the human auditory system. Compared against acoustic baselines, phonemic features, and supervised models, representations from the middle layers of self-supervised models (APC, wav2vec, wav2vec 2.0, and HuBERT) consistently yield the best prediction performance for fMRI recordings within the auditory cortex (AC). Brain areas involved in low-level auditory processing exhibit a preference for earlier SSL model layers, whereas higher-level semantic areas prefer later layers. We show that these trends are due to the models' ability to encode information at multiple linguistic levels (acoustic, phonetic, and lexical) along their representation depth. Overall, these results show that self-supervised models effectively capture the hierarchy of information relevant to different stages of speech processing in human cortex.

연구 동기 및 목표

• 자율학습 음성 표현이 기존의 음성 또는 의미 모델보다 자연어 음성에 대한 인간 촉수 반응을 더 잘 예측할 수 있는지 평가하기 위해.
• 자율학습 모델의 다양한 레이어가 인간 청각 피질의 특정 기능적 영역과 어떻게 대응하는지 조사하기 위해.
• 다양한 깊이의 자율학습 모델에서 인코딩되는 언어 수준(음성, 발음, 어휘)을 특정하기 위해.
• 자율학습 모델의 표현 계층이 인간 음성 처리의 잠재적 단계와 얼마나 일치하는지 평가하기 위해.

제안 방법

• audiobooks 데이터셋으로 훈련된 네 가지 SSL 모델(APC, wav2vec, wav2vec 2.0, HuBERT)의 중간 및 깊은 레이어에서 은닉 표현을 추출하였다.
• fMRI BOLD 반응을 음성 자극으로부터 예측하기 위해 병렬 망원 모델을 사용하고, SSL 특징을 입력으로 활용한 릿지 회귀를 적용하였다.
• 음성 기반 기준 모델(Mel 스펙트로그램, 스펙트로템포럴 특징), 발음 특징, 의미어 임베딩과의 성능 비교를 수행하였다.
• 공유 및 고유 기여도를 정량화하기 위해 분산 분할 분석을 실시하였다.
• 각 SSL 레이어에서 어떤 언어 정보(FBANK, 스펙트로템포럴, 발음, 단어)가 인코딩되어 있는지 평가하기 위해 선형 프로빙을 수행하였다.
• 특징 정렬을 위해 내러티브 음성과 텍스트에서 정확한 단어 및 발음 타이밍을 확보하기 위해 강제 정렬을 사용하였다.

실험 결과

연구 질문

• RQ1 자율학습 음성 표현이 기존의 음성 또는 의미 특징보다 자연어 음성에 대한 인간 촉수 반응을 더 정확하게 예측할 수 있는가?
• RQ2 SSL 모델 내부의 어떤 레이어가 청각 피질의 특정 영역의 활동을 가장 잘 예측하는가?
• RQ3 SSL 모델의 다양한 깊이에서 어떤 종류의 언어 정보(스펙트럼, 발음, 의미)가 인코딩되어 있는가?
• RQ4 SSL 모델의 표현 계층이 인간 뇌에서의 음성 처리 계층과 얼마나 유사한가?

주요 결과

• wav2vec 2.0와 HuBERT의 중간 및 상단 중간 레이어가 청각 피질 전역에서 fMRI 반응 예측 정확도가 가장 높았으며, 음성 기반 기준 모델 및 지도 학습 모델을 모두 능가하였다.
• 낮은 SSL 레이어는 주로 주요 청각 피질의 반응을 예측했고, 더 깊은 레이어는 발음 및 의미 처리에 관여하는 고차원 언어 영역의 활동을 예측하였다.
• 분산 분할 분석 결과, 최고 성능을 보인 SSL 레이어는 스펙트로템포럴, 발음, 일부 의미 정보를 조합하여 뇌 반응 예측에서 기존의 단일 기준 특징 공간보다 더 많은 고유 분산을 설명하였다.
• 선형 프로빙 결과, 가장 낮은 SSL 레이어는 FBANK 및 스펙트로템포럴 특징을 인코딩했고, 중간 레이어는 스펙트로템포럴 및 발음 특징을, 상단 레이어는 단어 정체성을 인코딩함으로써 언어 표현의 계층적 진행을 보였다.
• 발음 정체성은 wav2vec 2.0 및 HuBERT의 최상단 레이어에서 가장 잘 예측되었으며, 이는 명시적 언어 학습 지시 없이도 맥락 의존적 발음 인식이 가능하다는 것을 시사한다.
• 전반적으로 SSL 모델의 표현 깊이가 인간 뇌에서의 음성 처리 단계와 매우 유사하게 나타나, 인공적 및 생물학적 음성 처리 시스템 간의 구조적 동일성(구조적 이sovolumetricity)을 시사한다.