[논문 리뷰] Towards Decoding Brain Activity During Passive Listening of Speech

Milán András Fodor, Tamás Gábor Csapó외 1명|arXiv (Cornell University)|2024. 01. 01.

Cognitive Science and Education Research인용 수 1

한 줄 요약

이 연구는 수동 청취 중 뇌내 전기영동(іEEG) 신호에서 인식된 말을 딥러닝 모델을 사용해 복원하는 것을 다루며, 말 생성을 위한 뇌-컴퓨터 인터페이스(BCI)의 발전을 목표로 한다. 데이터 정렬 및 작업 설계의 도전과제가 존재하지만, 말과 관련된 뇌 영역(예: 상부 두정선)에 전극을 배치할 경우 복원 성능이 향상됨을 입증하였으며, 주제 13의 검증 MSE는 0.805, 주제 55의 검증 MSE는 0.878로 나타나, 수동 청취 시 말 인식 복원의 잠재력이 높음을 시사한다.

ABSTRACT

The aim of the study is to investigate the complex mechanisms of speech perception and ultimately decode the electrical changes in the brain accruing while listening to speech. We attempt to decode heard speech from intracranial electroencephalographic (iEEG) data using deep learning methods. The goal is to aid the advancement of brain-computer interface (BCI) technology for speech synthesis, and, hopefully, to provide an additional perspective on the cognitive processes of speech perception. This approach diverges from the conventional focus on speech production and instead chooses to investigate neural representations of perceived speech. This angle opened up a complex perspective, potentially allowing us to study more sophisticated neural patterns. Leveraging the power of deep learning models, the research aimed to establish a connection between these intricate neural activities and the corresponding speech sounds. Despite the approach not having achieved a breakthrough yet, the research sheds light on the potential of decoding neural activity during speech perception. Our current efforts can serve as a foundation, and we are optimistic about the potential of expanding and improving upon this work to move closer towards more advanced BCIs, better understanding of processes underlying perceived speech and its relation to spoken speech.

연구 동기 및 목표

• 수동 청취 중 뇌내 전기영동(іEEG) 신호에서 듣기 전에 인식된 말의 신경 표현을 복원함으로써, 말 생성에서 말 인식으로의 초점을 이동시키기.
• 수신된 말의 신경 활동에서 말 합성 기능을 가능하게 함으로써 뇌-컴퓨터 인터페이스(BCI) 기술을 발전시키기.
• 복잡한 신경 패턴과 해당하는 말 소리 사이의 관계를 연결함으로써 말 인식의 인지 메커니즘 탐색하기.
• 수동 청취 프로토콜을 활용한 더 자연스럽고 의사소통 중심의 BCI 기반 토대 마련하기.
• 워니크의 영역, 브로카의 영역, 상부 두정선과 같은 뇌 영역이 인식된 말을 처리하는 데 수행하는 역할 조사하기.

제안 방법

• іEEG 신호를 말 소리의 스펙트로그램으로 매핑하기 위해 완전히 연결된 신경망(FC-DNN)과 합성곱 신경망(CNN)을 사용.
• 신경 활동의 순차적 동역학을 시간에 따라 모델링하기 위해 시간 축합성층 적용.
• 신호 품질 향상을 위해 대역통과 필터링(1–100 Hz) 및 아티팩트 제거를 통한 іEEG 데이터 사전 처리.
• 시간적 이격을 해결하기 위해 상호상관 및 시간 왜곡 기법을 사용해 іEEG와 오디오 데이터 정렬.
• 신경 활동에서 스펙트로그램을 예측하기 위해 엔드 투 엔드로 모델 학습하며, 손실 함수로 평균 제곱오차(MSE) 최소화.
• 검증용 MSE를 사용해 보류된 테스트 데이터에서 성능 평가하고, 다양한 전극 위치를 가진 피험자 간 결과 비교.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 수동 청취 중 іEEG 신호에서 말의 스펙트로템포럴 특징을 복원할 수 있는가?
• RQ2 말과 관련된 뇌 영역에 전극를 놓을 경우, 신경 활동으로부터 말 복원 정확도에 어떤 영향을 미치는가?
• RQ3 수동 청취 중 신경 표현이 말 생성 중와 얼마나 유사한가?
• RQ4 운동 및 청각 뇌 영역이 іEEG에서 인식된 말을 복원하는 데 어떤 역할을 하는가?
• RQ5 자료 수집, 사전 처리 및 모델 아키텍처의 방법론적 차이가 복원 성능에 어떤 영향을 미치는가?

주요 결과

• 말 처리와 관련된 영역에 전극를 놓은 주제 13은 FC-DNN 모델을 사용해 검증 MSE 0.805를 기록하여 상대적으로 높은 복원 성능를 보였다.
• 주제 55는 알려진 말 처리 영역(예: 상부 두정선)에 더 가까운 전극 위치를 확보하여 다른 피험자들보다 복원 정확도가 향상되었으며, CNN 모델을 사용해 검증 MSE 0.878를 기록하였다.
• 이 연구는 핵심 말 처리 영역에 전극를 놓을 경우 복원 성능에 상당한 영향을 미친다는 것을 확인하였으며, 이러한 영역이 인식된 말의 신경 표현에 기여한다는 것을 뒷받침한다.
• 도전 과제가 존재하지만 결과적으로 수동 청취 중 신경 활동이 말의 스펙트로템포럴 특징을 재구성하는 데 충분한 정보를 담고 있음을 시사하며, 아직는 이해 가능한 말 합성 수준에는 도달하지 못했다.
• 이러한 결과는 말 인식의 운동 이론 및 신경 재사용 이론과 부합하지만, 본 연구에서는 이러한 메커니즘에 대한 명확한 증거는 확보되지 않았다.
• іEEG와 오디오 데이터 간 시간적 이격은 주요 제한 요소로 작용하며, 모델 성능에 영향을 미치고 있으며, 향상된 동기화 기술의 필요성을 강조한다.