[논문 리뷰] Voice of Your Brain: Cognitive Representations of Imagined Speech,Overt Speech, and Speech Perception Based on EEG

Seo‐Hyun Lee, Young Eun Lee외 1명|arXiv (Cornell University)|2021. 05. 31.

EEG and Brain-Computer Interfaces참고 문헌 21인용 수 4

한 줄 요약

이 연구는 9명의 피험자에서 상상된 말과 외부 발화가 각각 다른 개인 맞춤형 뇌전도(EEG) 패턴을 유도하며, 단일 채널 EEG와 깊이 학습 기반 신경망을 활용해 신뢰성 있는 화자 식별이 가능함을 보여준다. 이는 시간-주파수-공간 특징을 포괄하는 모델을 통해 달성된다. 결과적으로 상상된 말은 특히 T7 채널에서 강력한 개인 맞춤 신경 서명을 보이며, 개인 식별을 위한 안전하고 단일 채널 뇌-컴퓨터 인터페이스의 실용적 응용 가능성을 뒷받침한다.

ABSTRACT

Every people has their own voice, likewise, brain signals dis-play distinct neural representations for each individual. Al-though recent studies have revealed the robustness of speech-related paradigms for efficient brain-computer interface, the dis-tinction on their cognitive representations with practical usabil-ity still remains to be discovered. Herein, we investigate the dis-tinct brain patterns from electroencephalography (EEG) duringimagined speech, overt speech, and speech perception in termsof subject variations with its practical use of speaker identifica-tion from single channel EEG. We performed classification ofnine subjects using deep neural network that captures temporal-spectral-spatial features from EEG of imagined speech, overtspeech, and speech perception. Furthermore, we demonstratedthe underlying neural features of individual subjects while per-forming imagined speech by comparing the functional connec-tivity and the EEG envelope features. Our results demonstratethe possibility of subject identification from single channel EEGof imagined speech and overt speech. Also, the comparison ofthe three speech-related paradigms will provide valuable infor-mation for the practical use of speech-related brain signals inthe further studies.

연구 동기 및 목표

• 상상된 말, 외부 발화, 말 인식 동안의 EEG 신호에 개인 맞춤 신경 표현이 포함되어 있는지 조사하기.
• 실제 BCI 응용 분야에서 단일 채널 EEG를 활용한 화자 식별의 가능성 평가하기.
• 상상된 말, 외부 발화, 말 인식 간의 인지 신경 패턴(기능적 연결성 및 EEG 엔벨롭)을 비교하여 개인 차이 식별하기.
• 실용성과 성능을 고려해 화자 식별에 최적의 EEG 채널 결정하기.

제안 방법

• 9명의 피험자에서 상상된 말, 외부 발화, 말 인식, 안정 상태의 4가지 조건을 각각 300회 시행하여 EEG 데이터 수집.
• 신호는 5차 Butterworth 필터(30–120 Hz)를 사용해 전처리하고, 시험 시작 500ms 이전의 기준선 보정을 실시.
• 단일 채널 EEG에서 시간, 주파수, 공간적 특징을 추출할 수 있도록 설계된 깊이 신경망 아키텍처를 도입하여 화자 신원의 종합적 분류를 실현.
• 기능적 연결성은 Broca의 영역과 Wernicke의 영역에서 Phase-Lag Index(PLV)를 사용해 분석하여 상상된 말과 안정 상태 간의 뇌망 역학 비교.
• EEG 엔벨롭 특징을 계산하고 피험자 평균을 내어 상상된 말 중 개인 고유의 시간 패턴 식별.
• 분류 성능은 정확도로 평가하였으며, 신경 표현 간 클래스 간 분리도 평가를 위해 t-SNE 시각화를 실시.

실험 결과

연구 질문

• RQ1 상상된 말, 외부 발화, 말 인식 중 단일 채널 EEG에서 개인 화자를 신뢰성 있게 식별할 수 있는가?
• RQ2 상상된 말의 신경 표현은 외부 발화 및 말 인식과 비교해 개인 맞춤 특성이 얼마나 뚜렷한가?
• RQ3 단일 채널 환경에서 화자 식별에 가장 높은 성능을 보이는 EEG 채널은 무엇인가?
• RQ4 상상된 말 중 언어 관련 뇌 영역(Broca의 영역 및 Wernicke의 영역)에서 기능적 연결성 패턴이 피험자 간에 유의미하게 다를까?
• RQ5 상상된 말 중 EEG 엔벨롭 역학이 개인의 말 특성과 얼마나 관련이 깊은가?

주요 결과

• T7 채널은 다른 채널들과 비교해 유의미하게 높은 화자 식별 정확도를 보였다(p < 0.001, χ² = 32.51), 이는 실용적인 귀 부착형 EEG 장치에 매우 유망한 잠재력을 지님.
• 상상된 말과 외부 발화는 말 인식이나 안정 상태보다 더 뚜렷한 개인 맞춤 신경 패턴을 유도하며, t-SNE 시각화와 분류 정확도로 확인됨.
• 피험자 3번은 기능적 연결성과 EEG 엔벨롭 양면에서 가장 뚜렷한 신경 서명을 보였으며, 이는 높은 분류 성능와도 일치함.
• 대부분의 피험자에서 상상된 말 중 Broca의 영역에서 기능적 연결성이 감소했지만, 피험자 3번은 증가하여 개인 간 뇌 활성화 패턴의 이질성을 시사함.
• 각 피험자의 EEG 엔벨롭은 500–1500ms 사이에 고유의 피크 패턴을 보였으며, 피험자 3번은 높은 분류 가능성을 반영하는 방사형 패턴을 보임.
• 말 인식은 안정 상태보다 略로 높은 식별 정확도(56.26 ± 1.87%)를 보였지만, 단일 세션 데이터의 제한으로 성능이 제한됨.